2020-07-06
阅读量:
839
图解Yarn工作流程
图解Yarn工作流程如下:
MR(MapReduce)程序提交到客户端所在的节点>>YarnRunner向RM(ResourceManager)申请一个Application>>RM返回Application资源提交路径hdfs://…./.staging以及application_id给YarnRunner>>YarnRunner提交job运行所需资源给HDFS>>YarnRunner资源提交完毕后,向RM申请运行MRAppMaster>>RM将用户的请求初始化成一个Task>>Yarn调度队列让一个NM(NodeManager)领取到task任务>>NM创建容器Container并产生MRAppmaster>>Container从HDFS上下载job资源到本地>>MRAppmaster向RM 申请运行maptask的容器>>RM将运行maptask任务分配给另外两个NM>>另两个NM分别领取任务并创建container>>MRAppmaster向两个接收到任务的NM发送程序启动脚本>>这两个NodeManager分别启动MapTask>>MapTask对数据分区排序>>MrAppMaster等待所有maptask运行完毕后,向RM申请container,运行ReduceTask>>ReduceTask向MapTask获取相应分区的数据>>程序运行完毕后,MRAppmaster会向RM申请注销自己。
29.4284
2
2
关注作者
收藏
评论(0)
发表评论
暂无数据
推荐帖子
1条评论
0条评论
0条评论