热线电话:13121318867

登录
2020-07-07 阅读量: 1204
30台机器,跑mr任务的时候发现5个map任务全都分配到了同一台机器上

集群有30台机器,跑mr任务的时候发现5个map任务全都分配到了同一台机器上,这个可能是由于什么原因导致的吗?

解决方案:yarn.scheduler.fair.assignmultiple 这个参数 默认是开的,需要关掉。

将YARN配置中的yarn.scheduler.fair.assignmultiple参数设为false,或者手动设定yarn.scheduler.fair.max.assign参数的值为一个较小的正数(如3或4)。


19.6162
3
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子