2020-07-06
阅读量:
1083
Yarn调度器
1)Hadoop调度器重要分为三类:
FIFO 、CS(Capacity Scheduler)(容量调度器)和FS(Fair Sceduler)(公平调度器)。
Apache默认的资源调度器是容量调度器CS;
CDH默认的资源调度器是公平调度器FS。
2)区别:
FIFO调度器:支持单队列 、先进先出,生产环境不会用。
CS容量调度器:支持多队列,保证先进入的任务优先执行。
FS公平调度器:支持多队列,保证每个任务公平享有队列资源。
大厂:如果对并发度要求比较高,选择公平FS,要求服务器性能必须OK;
中小公司,集群服务器资源不太充裕选择容量CS。
4)在生产环境怎么创建队列?
(1)调度器默认就1个default队列,不能满足生产要求;
(2)按照框架:hive /spark/ flink 每个框架的任务放入指定的队列(企业用的不是特别多);
(3)按照业务模块:登录注册、购物车、下单、业务部门1、业务部门2。
5)创建多队列的好处?
(1)因为担心员工不小心,写递归死循环代码,把所有资源全部耗尽。
(2)YARN给队列分配优先级值,让队列带上优先级属性,实现任务的降级使用,特殊时期保证重要的任务队列资源充足。
业务部门1(重要)>>业务部门2(比较重要)>>下单(一般)>>购物车(一般)>>登录注册(次要)
Yarn支持队列内多优先级应用调度,应用优先级的ACL管控:
yarn.scheduler.capacity.root.[queue_name].[priority].acl=user1,user2
29.5565
3
2
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
1条评论
0条评论
0条评论