Yarn调度器和调度算法详解

楼高4个月前技术文章194

目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler

一、先进先出调度器(FIFO)

FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。

image.png

优点:简单易懂;

缺点:不支持多队列,生产环境很少使用

二、容量调度器(Capacity Scheduler)

Capacity Scheduler是Yahoo开发的多用户调度器

1、多队列:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。

2、容量保证:管理员可为每个队列设置资源最低保证和资源使用上限。

3、灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一但该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。

4、多租户

支持多用户共享集群和多应用程序同时运行。

为了防止同一用户的作业独占队列的中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

三、公平调度器(Fair Scheduler)

Fair Schedulere是Facebook开发的多用户调度器。




公平调度器特点:

1、与容量调度器相同点

(1)多队列:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。

(2)容量保证:管理员可为每个队列设置资源最低保证和资源使用上限。

(3)灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一但该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。

(4)多租户

支持多用户共享集群和多应用程序同时运行。

为了防止同一用户的作业独占队列的中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

2、与容量调度器不同点

(1)核心调度策略不同

容量调度器:优先选择资源利用率低的队列

公平调度器:优先选择对资源的缺额比例大的

(2)每个队列可以单独设置资源分配方式

容量调度器:FIFO、DRF

公平调度器:FIFO、FAIRDRF


























相关文章

Linux进程管理详解

Linux进程管理详解

1 进程分类系统进程可以执行内存资源分配和进程切换等管理工作,而且该进程的运行不受用户的干预,即使是root用户也不能干预系统进程的运行。用户进程通过执行用户程序、应用程序或内核之外的系统程序而产生的...

Centos系统支持TLS 1.3

Centos系统支持TLS 1.3

一、背景1、生产的 CentOS 7 服务器需要启用 TLS 1.32、Openssl介绍OpenSSL 是用于传输层安全性 (TLS) 和安全套接字层 (SSL) 协议的强大、商业级且功能齐全的工具...

企业级大数据安全架构(五)

企业级大数据安全架构(五)

本章节介绍安全架构里面一个重要组件Knox安装,我们是通过ambari安装,如果安装开源Knox可参考官网文档1 ambari页面add service2勾选Knox安装点击NEXT3选择安装knox...

Hive架构图及Hive SQL的执行流程

Hive架构图及Hive SQL的执行流程

1、Hive产生背景MapReduce编程的不便性HDFS上的文件缺少Schema(表名,名称,ID等,为数据库对象的集合)2、Hive是什么Hive的使用场景是什么?基于Hadoop做一些数据清洗啊...

大数据集群部署规划(四)组件建议规格

类型指标名称规格说明HDFS单对NameNode最大文件数1亿-单DataNode最大block数500万GC参数 -Xmx32G单个DataNode磁盘最多block数50万-单个目录下最多文件目录...

flink集成iceberg访问hive catalog任务报错

flink集成iceberg访问hive catalog任务报错

问题现象flink在集成iceberg后访问hive catalog任务无法执行,但flink自身任务正常,iceberg表任务无法执行,报错如下:Caused by: java....

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。