如何确定map的个数？_CDA答疑社区

热线电话：13121318867

登录

291294878

2018-10-20 阅读量: 1164

如何确定map的个数？

（1）一个文件HDFS中的file，占用3个block块，每块默认64M，这个是物理切分。

（2）运行map的时候，根据配置文件进行split切分，这是逻辑切分。

（3）一个split就会对应运行一个map。

hdfs-site.xml中设置

<property>

<name>dfs.block.size</name>

<value>n0</value>

</property>

mapred-site.xml中设置

<property>

<name>mapred.max.split.size</name>

<value>n1</value>

</property>

<property>

<name>mapred.min.split.size</name>

<value>n2</value>

</property>

那么： splitSize = max(n2,min(n1,n0))

则map的个数为：文件大小/(splitSize*1.1) 的向上取整。

101.7633

1

3

关注作者

收藏

评论(0)

发表评论

暂无数据

CDA考试动态

CDA报考指南

推荐帖子