谷歌的海量数据排序实验史
自从相关工具创建以来,我们一直通过对海量的随机数据执行排序来测试MapReduce。这种方式很受欢迎,因为生成任意数量的数据非常简单,想要验证输出结果是否正确也很简单。
尽管最开始的MapReduce论文报告的是TeraSort的结果。工程师们将定期对1TB或10TB数据执行排序当作回归测试来做,因为测试时使用的数据量越大,那些不显眼的bug就越容易被发现。然而,当我们进一步扩大数据规模后,真正的乐趣才刚开始。本文将会讨论几年前我们所做的一些PB规模的排序实验,包括在我们看来最大的一次MapReduce任务:对50PB的数据执行排序。
如今,GraySort已是海量数据排序基准之选,测试者必须以最快速度按字典顺序对至少100TB的数据执行排序。网站sortbenchmark.org跟踪记录了这项基准测试的官方优胜者,但谷歌从未参加过官方竞赛。
由于实现Reduce的过程就是对键值排序,MapReduce刚好适合解决这个问题。通过合适的(词典)分片功能,MapReduce就能输出一系列的文件,其中包含最终排序后的数据集。
有时在数据中心有新集群出现时(一般是为了搜索索引团队的使用),我们这些MapReduce团队的人员就有机会歇口气,在实际工作量压过来之前休闲几周。这些时候,我们才有机会试试看:让集群“超负荷”、探究硬件的极限、搞挂一些硬盘、测试一些非常昂贵的设备,并学到很多系统性能相关的东西,同时(在非官方的)排序基准测试获得胜利。
图一:谷歌的Petasort记录
2007
(1PB,12.13小时,1.37TB/分钟,2.9 MB/秒/worker)
我们在2007年首次运行Petasort。那时候,我们主要是开心能把这个测试完成,尽管对输出结果的正确性还有些疑问(由于未作验证而无法确认)。当时,若不是我们关闭了检查map分片与备份的输出结果是否一致的机制,这项任务是无法完成的。我们怀疑,这是用作输入和输出结果存储的谷歌档案系统(GFS)所造成的限制。GFS的校验和保护不足,有时会返回损坏的数据。不幸的是,该基准测试所使用的文件格式并不包含任何内嵌的校验和,无法让MapReduce发送通知(在谷歌,通常使用MapReduce的方式就是使用内嵌校验和的文件格式)。
2008
(1PB,6.03小时,2.76TB/分钟,11.5 MB/秒/worker)
2008年,我们首次专注于优化调整,花了几天时间调整分片数量、不同缓冲区的大小、预读/预写策略、页面缓存使用等,并在博客中记录了结果。最终,通过将输出结果三路复制到GFS,我们解决掉了瓶颈,这也成了我们那时在谷歌的标准用法,少一路都会有很高的风险损失掉数据。
2010
(1PB,2.95小时,5.65TB/分钟,11.8 MB/秒/worker)
在这个测试中,我们使用了新版本的GraySort基准,这个版本使用到了不可压缩的数据。在前几年中,我们从GFS读取或者向其写入1PB数据时,实际shuffle的数据量仅有大约300TB左右,因为那时所使用的ASCII格式都是压缩过的。
在这一年中,谷歌将GFS更新为下一代分布式存储系统Colossus。之前使用GFS时所遇到的数据损坏问题不再出现了,我们还在输出结果中使用了RS编码(Colossus的新功能),从而将写入的总数据量从3PB(三路复制)减少到大约1.6PB。这时我们也首次证实了输出结果的正确性。
为了减少离散数据的影响,我们运用了动态分片技术(也就是减少子分片),后来演变为了在Dataflow中使用完全动态分片技术。
2011
(1PB,0.55小时,30.3TB/分钟,63.1 MB/秒/worker)
这一年我们的网络速度更快,也开始关注每台服务器的效率,特别是输入/输出(I/O)方面的问题。我们要确保所有的硬盘I/O操作都是在2MB大小的块区内进行的,解决有时会缩小到64kB块区的问题。我们使用了固态硬盘(SSD)来记录部分数据,这使得Petasort测试首次在一小时之内完成,准确来讲是33分钟,可以参考这里的记录。最终,在分布式存储中输入/输出以及将中间数据保存在硬盘中以支持容错(由于在实验中,某些硬盘甚至整台服务器都会宕掉,而且这种情况会频繁出现,因此容错非常重要)的问题上,性能达到了指定MapReduce架构的硬件极限性能的将近两倍。同时也获得了更高的扩展:我们在6小时27分钟之内运行了10PB的数据(26TB/分钟)。
2012
(50PB,23小时,36.2TB/分钟,50 MB/秒/worker)
在这个测试中,我们将注意力转向更大规模的数据排序,通过调用我们在谷歌所能控制的最大规模集群,将shuffle的数据量提到最大,然后运行相应的MapReduce任务。不幸的是,这个集群的空间不够让100PB的数据排序,因此我们将要排序的数据限制在50PB。这个测试仅运行了一次,也没有做专门的优化调整,而且设置还是取自之前做10PB实验时所用的那一套,完成时间为23小时5分钟。
注意,这个排序的规模是GraySort的500倍,在吞吐量上是2015年GraySort官方优胜者的两倍。
这些实验让我们获益良多:包括在运行万台规模的服务器上执行排序时遇到了什么挑战,以及如何优化调整以接近硬件性能的速度极限。
尽管这些排序实验非常有趣,但仍有一些缺点:
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03