Yarn调度器对比

南墨1年前技术文章514

1Hadoop调度器重要分为三类:

FIFO Capacity Scheduler(容量调度器)和Fair Sceduler(公平调度器)。

Apache默认的资源调度器是容量调度器;

CDH默认的资源调度器是公平调度器。

2)区别:

FIFO调度器:支持单队列 、先进先出   生产环境不会用。

容量调度器:支持多队列,保证先进入的任务优先执行。

公平调度器:支持多队列,保证每个任务公平享有队列资源。

3)在生产环境下怎么选择?

     大厂:如果对并发度要求比较高,选择公平,要求服务器性能必须OK

     中小公司,集群服务器资源不太充裕选择容量。

4)在生产环境怎么创建队列?

1)调度器默认就1default队列,不能满足生产要求。

    2)按照框架:hive /spark/ flink 每个框架的任务放入指定的队列(企业用的不是特别多)

3)按照业务模块:登录注册、购物车、下单、业务部门1、业务部门2

5)创建多队列的好处?

1)因为担心员工不小心,写递归死循环代码,把所有资源全部耗尽。

2)实现任务的降级使用,特殊时期保证重要的任务队列资源充足。

业务部门1(重要)=》业务部门2(比较重要)=》下单(一般)=》购物车(一般)=》登录注册(次要)


相关文章

HDP部署Tez UI

首先部署tomcat在官网下载apache-tomcat-9.0.22.tar.gz[root@hdp02 opt]# wget https://archive.apache.org/dist/tom...

Hive中小表与大表关联(join)的性能分析

经常看到一些Hive优化的建议中说当小表与大表做关联时,把小表写在前面,这样可以使Hive的关联速度更快,提到的原因都是说因为小表可以先放到内存中,然后大表的每条记录再去内存中检测,最终完成关联查询。...

数据湖技术之iceberg(七)Spark管理iceberg表

数据湖技术之iceberg(七)Spark管理iceberg表

1.SparkSQL设置catalog配置以下操作主要是SparkSQL操作Iceberg,同样Spark中支持两种Catalog的设置:hive和hadoop,Hive Catalog就是icebe...

rabbitmq-迁移方案

rabbitmq-迁移方案

rabbitmq共有两种迁移方案:迁移方式优点缺点可用性原理文件导入方式数据100%成功业务要修改地址暂停提供服务可以使用拷贝元数据方式添加集群方式不可用,数据会丢失(添加机器之前会清空之前所有的信息...

变更 Rancher Server IP 或域名

变更 Rancher Server IP 或域名

一.背景由于各种原因导致的需要对rancher的Server IP或者域名进行变更(更改访问地址,更改公网IP地址等)二.流程图三.操作前了解相关配置和要求相关官方文档rancher:日常使用的ran...

发表评论    

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。