2.3 Spark运行架构与原理-白红宇

2.3 Spark运行架构与原理

阅读量：797 次

发布时间：2023-04-04

本文共 296 字，大约阅读时间需要 1 分钟。

Spark运行架构由SparkContext、Cluster Manager和Worker组成。在集群模式下，Driver进程初始化SparkContext，并向Cluster Manager申请资源。Cluster Manager根据算法需求，在Worker节点上启动Executor。Executor负责接收任务并执行，完成后会向Cluster Manager反馈执行状态。Task Scheduler负责将任务分发给Executor执行，任务完成后，Driver会释放已申请的资源。

Spark架构的设计确保了资源管理与任务执行的高效协作，为大规模并行计算作业的顺利完成提供了技术保障。

转载地址：http://yyrfk.baihongyu.com/

你可能感兴趣的文章

Objective-C实现EM算法(附完整源码)

Objective-C实现EM算法(附完整源码)

Objective-C实现entropy熵算法(附完整源码)

Objective-C实现euclidean distance欧式距离算法(附完整源码)

Objective-C实现Euclidean GCD欧几里得最大公约数算法(附完整源码)

Objective-C实现euclideanDistance欧氏距离算法（附完整源码）

Objective-C实现euler method欧拉法算法(附完整源码)

Objective-C实现eulerianPath欧拉路径算法(附完整源码)

Objective-C实现eval函数功能（附完整源码）

Objective-C实现Exceeding words超词（差距是ascii码的距离）算法（附完整源码）

Objective-C实现extended euclidean algorithm扩展欧几里得算法(附完整源码)

Objective-C实现Factorial digit sum阶乘数字和算法（附完整源码）

Objective-C实现factorial iterative阶乘迭代算法(附完整源码)

Objective-C实现factorial recursive阶乘递归算法(附完整源码)

Objective-C实现FigurateNumber垛积数算法（附完整源码）

Objective-C实现Gale-Shapley盖尔-沙普利算法(附完整源码)

Objective-C实现hamiltonianCycle哈密尔顿图算法（附完整源码）

Objective-C实现hamming numbers汉明数算法(附完整源码)

Objective-C实现hanning 窗（附完整源码）

Objective-C实现hanoiTower汉诺塔算法（附完整源码）