2.3 Spark运行架构与原理-白红宇

2.3 Spark运行架构与原理

阅读量：797 次

发布时间：2023-04-04

本文共 296 字，大约阅读时间需要 1 分钟。

Spark运行架构由SparkContext、Cluster Manager和Worker组成。在集群模式下，Driver进程初始化SparkContext，并向Cluster Manager申请资源。Cluster Manager根据算法需求，在Worker节点上启动Executor。Executor负责接收任务并执行，完成后会向Cluster Manager反馈执行状态。Task Scheduler负责将任务分发给Executor执行，任务完成后，Driver会释放已申请的资源。

Spark架构的设计确保了资源管理与任务执行的高效协作，为大规模并行计算作业的顺利完成提供了技术保障。

转载地址：http://yyrfk.baihongyu.com/

你可能感兴趣的文章

MySQL8修改密码报错ERROR 1819 (HY000): Your password does not satisfy the current policy requirements

MySQL8修改密码的方法

Mysql8在Centos上安装后忘记root密码如何重新设置

Mysql8在Windows上离线安装时忘记root密码

MySQL8找不到my.ini配置文件以及报sql_mode=only_full_group_by解决方案

mysql8的安装与卸载

MySQL8，体验不一样的安装方式！

MySQL: Host '127.0.0.1' is not allowed to connect to this MySQL server

Mysql: 对换（替换）两条记录的同一个字段值

mysql:Can‘t connect to local MySQL server through socket ‘/var/run/mysqld/mysqld.sock‘解决方法

MYSQL:基础——3N范式的表结构设计

MYSQL:基础——触发器

Mysql:连接报错“closing inbound before receiving peer‘s close_notify”

mysqlbinlog报错unknown variable ‘default-character-set=utf8mb4‘

mysqldump 参数--lock-tables浅析

mysqldump 导出中文乱码

mysqldump 导出数据库中每张表的前n条

mysqldump: Got error: 1044: Access denied for user ‘xx’@’xx’ to database ‘xx’ when using LOCK TABLES

Mysqldump参数大全（参数来源于mysql5.5.19源码）

mysqldump备份时忽略某些表