2.3 Spark运行架构与原理-白红宇

2.3 Spark运行架构与原理

阅读量：797 次

发布时间：2023-04-04

本文共 296 字，大约阅读时间需要 1 分钟。

Spark运行架构由SparkContext、Cluster Manager和Worker组成。在集群模式下，Driver进程初始化SparkContext，并向Cluster Manager申请资源。Cluster Manager根据算法需求，在Worker节点上启动Executor。Executor负责接收任务并执行，完成后会向Cluster Manager反馈执行状态。Task Scheduler负责将任务分发给Executor执行，任务完成后，Driver会释放已申请的资源。

Spark架构的设计确保了资源管理与任务执行的高效协作，为大规模并行计算作业的顺利完成提供了技术保障。

转载地址：http://yyrfk.baihongyu.com/

你可能感兴趣的文章

mysqldump 导出数据库中每张表的前n条

mysqldump: Got error: 1044: Access denied for user ‘xx’@’xx’ to database ‘xx’ when using LOCK TABLES

Mysqldump参数大全（参数来源于mysql5.5.19源码）

mysqldump备份时忽略某些表

mysqldump实现数据备份及灾难恢复

mysqldump数据库备份无法进行操作只能查询 --single-transaction

mysqldump的一些用法

MySQLIntegrityConstraintViolationException异常处理

mysqlreport分析工具详解

MySQLSyntaxErrorException: Unknown error 1146和SQLSyntaxErrorException: Unknown error 1146

Mysql_Postgresql中_geometry数据操作_st_astext_GeomFromEWKT函数_在java中转换geometry的16进制数据---PostgreSQL工作笔记007

mysql_real_connect 参数注意

mysql_secure_installation初始化数据库报Access denied

MySQL_西安11月销售昨日未上架的产品_20161212

Mysql——深入浅出InnoDB底层原理

MySQL“被动”性能优化汇总

MySQL、HBase 和 Elasticsearch：特点与区别详解

MySQL、Redis高频面试题汇总

MYSQL、SQL Server、Oracle数据库排序空值null问题及其解决办法