Yarn调度器和调度算法详解

楼高1年前技术文章517

目前,Hadoop作业调度器主要有三种:FIFO、容量(Capacity Scheduler)和公平(Fair Scheduler)。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。CDH框架默认调度器是Fair Scheduler

一、先进先出调度器(FIFO)

FIFO调度器(First In First Out):单队列,根据提交作业的先后顺序,先来先服务。

image.png

优点:简单易懂;

缺点:不支持多队列,生产环境很少使用

二、容量调度器(Capacity Scheduler)

Capacity Scheduler是Yahoo开发的多用户调度器

1、多队列:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。

2、容量保证:管理员可为每个队列设置资源最低保证和资源使用上限。

3、灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一但该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。

4、多租户

支持多用户共享集群和多应用程序同时运行。

为了防止同一用户的作业独占队列的中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

三、公平调度器(Fair Scheduler)

Fair Schedulere是Facebook开发的多用户调度器。




公平调度器特点:

1、与容量调度器相同点

(1)多队列:每个队列可配置一定的资源量,每个队列采用FIFO调度策略。

(2)容量保证:管理员可为每个队列设置资源最低保证和资源使用上限。

(3)灵活性:如果一个队列中的资源有剩余,可以暂时共享给那些需要资源的队列,而一但该队列有新的应用程序提交,则其他队列借调的资源会归还给该队列。

(4)多租户

支持多用户共享集群和多应用程序同时运行。

为了防止同一用户的作业独占队列的中的资源,该调度器会对同一用户提交的作业所占资源量进行限定。

2、与容量调度器不同点

(1)核心调度策略不同

容量调度器:优先选择资源利用率低的队列

公平调度器:优先选择对资源的缺额比例大的

(2)每个队列可以单独设置资源分配方式

容量调度器:FIFO、DRF

公平调度器:FIFO、FAIRDRF


























相关文章

linux下xfs文件系统类型/目录扩容

1、查看分区信息[root@172-16-121-112 ~]# fdisk -lDisk /dev/vda: 107.4 GB, 107374182400 bytes, 209715200 sect...

emr部署hive并适配达梦数据库

emr部署hive并适配达梦数据库

一、达梦 用户、数据库初始化1、创建hive的元数据库create tablespace hive_meta datafile '/dm8/data/DAMENG/hive_meta.dbf' siz...

CDH-Impala集成ldap认证

CDH-Impala集成ldap认证

1、背景集群版本:cdh6.2.0impala版本:3.2.0+cdh6.2.0用户认证:AD由于用户需要使用数据库工具连接impala,但是集群开启了kerberos,如果使用数据库连接工具连接im...

SQL隐式转换导致索引失效_函数

SQL隐式转换导致索引失效_函数

一、隐式转换分类1.函数2.数据类型3.字符集4.校验规则二、常见案例本节将会针对第一部分提到的四种隐式转换内容,举例说明。1.索引列使用函数导致索引失效示例 SQL 如下,该 SQL 的 where...

CDP实操--动态启停服务

以yarn nodemanager 为例获取role yarn nodemanager:curl -u admin:admin 'http://172.16.106.151:7180/api/v1/c...

PG的pg_stat_statements插件

pg_stat_statements可追踪一个服务器所执行的所有 SQL 语句的执行统计信息,可以用于统计数据库的资源开销,分析TOP SQL。一、插件安装1、编译安装进入postgresql源码目录...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。