2.3 Spark运行架构与原理-白红宇

2.3 Spark运行架构与原理

阅读量：797 次

发布时间：2023-04-04

本文共 296 字，大约阅读时间需要 1 分钟。

Spark运行架构由SparkContext、Cluster Manager和Worker组成。在集群模式下，Driver进程初始化SparkContext，并向Cluster Manager申请资源。Cluster Manager根据算法需求，在Worker节点上启动Executor。Executor负责接收任务并执行，完成后会向Cluster Manager反馈执行状态。Task Scheduler负责将任务分发给Executor执行，任务完成后，Driver会释放已申请的资源。

Spark架构的设计确保了资源管理与任务执行的高效协作，为大规模并行计算作业的顺利完成提供了技术保障。

转载地址：http://yyrfk.baihongyu.com/

你可能感兴趣的文章

Mysql中文乱码问题完美解决方案

mysql中的 +号和 CONCAT(str1,str2,...)

Mysql中的 IFNULL 函数的详解

mysql中的collate关键字是什么意思?

MySql中的concat()相关函数

mysql中的concat函数,concat_ws函数，concat_group函数之间的区别

MySQL中的count函数

MySQL中的DB、DBMS、SQL

MySQL中的DECIMAL类型：MYSQL_TYPE_DECIMAL与MYSQL_TYPE_NEWDECIMAL详解

MySQL中的GROUP_CONCAT()函数详解与实战应用

MySQL中的IO问题分析与优化

MySQL中的ON DUPLICATE KEY UPDATE详解与应用

mysql中的rbs,SharePoint RBS：即使启用了RBS，内容数据库也在不断增长

mysql中的undo log、redo log 、binlog大致概要

Mysql中的using

MySQL中的关键字深入比较：UNION vs UNION ALL

mysql中的四大运算符种类汇总20多项，用了三天三夜来整理的，还不赶快收藏

mysql中的字段如何选择合适的数据类型呢？

MySQL中的字符集陷阱：为何避免使用UTF-8

mysql中的数据导入与导出