2.3 Spark运行架构与原理-白红宇

2.3 Spark运行架构与原理

阅读量：797 次

发布时间：2023-04-04

本文共 296 字，大约阅读时间需要 1 分钟。

Spark运行架构由SparkContext、Cluster Manager和Worker组成。在集群模式下，Driver进程初始化SparkContext，并向Cluster Manager申请资源。Cluster Manager根据算法需求，在Worker节点上启动Executor。Executor负责接收任务并执行，完成后会向Cluster Manager反馈执行状态。Task Scheduler负责将任务分发给Executor执行，任务完成后，Driver会释放已申请的资源。

Spark架构的设计确保了资源管理与任务执行的高效协作，为大规模并行计算作业的顺利完成提供了技术保障。

转载地址：http://yyrfk.baihongyu.com/

你可能感兴趣的文章

MySQL - 解读MySQL事务与锁机制

MTTR、MTBF、MTTF的大白话理解

mysql /*! 50100 ... */ 条件编译

mudbox卸载/完美解决安装失败/如何彻底卸载清除干净mudbox各种残留注册表和文件的方法...

mysql 1264_关于mysql 出现 1264 Out of range value for column 错误的解决办法

mysql 1593_Linux高可用(HA)之MySQL主从复制中出现1593错误码的低级错误

mysql 5.6 修改端口_mysql5.6.24怎么修改端口号

MySQL 8.0 恢复孤立文件每表ibd文件

MySQL 8.0开始Group by不再排序

mysql ansi nulls_SET ANSI_NULLS ON SET QUOTED_IDENTIFIER ON 什么意思

multi swiper bug solution

MySQL Binlog 日志监听与 Spring 集成实战

MySQL binlog三种模式

multi-angle cosine and sines

Mysql Can't connect to MySQL server

mysql case when 乱码_Mysql CASE WHEN 用法

MySQL Cluster 7.0.36 发布

Multimodal Unsupervised Image-to-Image Translation多通道无监督图像翻译