热线电话:13121318867

登录
2020-07-06 阅读量: 1083
Yarn调度器

1)Hadoop调度器重要分为三类:

FIFO 、CS(Capacity Scheduler)(容量调度器)和FS(Fair Sceduler)(公平调度器)。

Apache默认的资源调度器是容量调度器CS;

CDH默认的资源调度器是公平调度器FS。

2)区别:

FIFO调度器:支持单队列 、先进先出,生产环境不会用。

CS容量调度器:支持多队列,保证先进入的任务优先执行。

FS公平调度器:支持多队列,保证每个任务公平享有队列资源。

3)在生产环境下怎么选择?

大厂:如果对并发度要求比较高,选择公平FS,要求服务器性能必须OK;

中小公司,集群服务器资源不太充裕选择容量CS。

4)在生产环境怎么创建队列?

(1)调度器默认就1个default队列,不能满足生产要求;

(2)按照框架:hive /spark/ flink 每个框架的任务放入指定的队列(企业用的不是特别多);

(3)按照业务模块:登录注册、购物车、下单、业务部门1、业务部门2。

5)创建多队列的好处?

(1)因为担心员工不小心,写递归死循环代码,把所有资源全部耗尽。

(2)YARN给队列分配优先级值,让队列带上优先级属性,实现任务的降级使用,特殊时期保证重要的任务队列资源充足。

业务部门1(重要)>>业务部门2(比较重要)>>下单(一般)>>购物车(一般)>>登录注册(次要)

Yarn支持队列内多优先级应用调度,应用优先级的ACL管控:

yarn.scheduler.capacity.root.[queue_name].[priority].acl=user1,user2


29.5565
2
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子