2020-07-07
阅读量:
1204
30台机器,跑mr任务的时候发现5个map任务全都分配到了同一台机器上
集群有30台机器,跑mr任务的时候发现5个map任务全都分配到了同一台机器上,这个可能是由于什么原因导致的吗?
解决方案:yarn.scheduler.fair.assignmultiple 这个参数 默认是开的,需要关掉。
将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false,或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数(如3或4)。
19.6162
4
3
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
1条评论
0条评论
0条评论