物联网数据分析何时迎娶超级计算机?
物联网的设备和传感器会产生许多数据,分析这些数据获取可行性见解将会有远大的发展前景。
在许多企业满足于使用小额的投资,慢条斯理地进行数据分析的同时,那些需要进行及时和复杂的数据分析的企业正从超级计算机工业的快速成长和进步中获益。
来自于Cray公司高级副总裁兼首席策略官Barry Bolding的建议:当数据分析的时效性是关键因素时,企业应该考虑选择超级计算资源方案来进行数据分析。
Bolding 说:“假设你要将物联网的数据快速输入模拟器或者数据模型,及时得到输出数据时,在这种应用场景下,使用Cray资源(超级计算资源)而不是云资源可以非常有效的消除系统的瓶颈。”
这是一个重要的区别,因为许多企业的首选是云计算解决方案,即便数据分析速度的对于他们来说比较重要,他们认为有着更快的时效性的超级计算意味着更高的成本。
然而,据IDC公司分析师Steve Conway分析,企业之所以做出这样的判断,是因为他们没有充分认识到高性能的计算资源给他们带来的成本收益的权衡。Conway认为:”即便在大公司,他们对于超级计算机的观念已经过时了。”
当然这并不是说每个企业都要用超级计算机来进行物联网的数据分析。最终,需要极快地分析数据的企业将会选择超级计算机,与此同时,那些对物联网数据分析的时效性要求不高的企业可以放心地选择基于云计算的方案。
Cray成立于1972年,是世界上历史悠久,规模最大的超级计算机提供商之一,它占有31%的市场份额,世界上10台最强的超级计算机有5台是它制造的。
这些年Cray公司和超级计算机市场总体发展艰难,受到了高性能、低成本的小型计算机的冲击。但是最近这个形势发生了变化。“市场开始分裂了,而且持续进行分裂,这因为更多的企业购买超级计算机,而不是只有政府部门。”Conway说。
他表示,曾经动辄数百万美金,只有少数的政府机构使用的超级计算机,现在80%的超级计算机成本已经低于100,000美元。
这使得许多的企业能够购买得起这些超级计算机。尽管从成本经济的角度考虑,不同的用户使用场景对超级计算机的青睐程度有着巨大的不同。
物 联网就是一个非常合适使用超级计算机的用户场景。因为它会产生大量的数据。但是不同的企业对物联网有着不同的使用方式,这个使得我们很难划定一个清晰的界 限决定什么时候应该使用超级计算资源。在大多数的情况下,一些公司可以接受等待一段较长时间的数据分析报告,然而对于其他的公司来说,数据分析的时效性是 日常工作中至关重要的部分。
例如连网汽车,它依靠大量的交通数据来回传递来进行操作。超级计算机将从每个连网的汽车获取交通数据,经过实时交通数据管理平台分析上传来的数据,然后回传路线信息给相应的汽车。
如果分析不是实时进行,回传给汽车的线路信息总是慢于移动中的汽车,那么这些信息对于行进中的汽车是毫无用处的。所以Conway认为这就是为什么交通数据分析是典型的使用超级计算机的用户场景,因为它完全依赖于实时的数据分析洞察。
对于时效性的要求是确定某一个用户场景是否需要超级计算机的决定因素。Bolding总结了三个标准来说明什么情况下需要超级计算机。
Bolding 认为从长期的使用的角度来看,一次性投资超级计算机的解决方案和每个月须付高额的服务费的云方案相比较,超级计算机的成本更便宜。
这是基于Cray公司内部成本预测模型进行的分析,还未公布于众,对其正确性持有保留的观点。但是Conway认同还是有些用户场景选择采用超级计算机,可以取得成本效益率的最大化。
有大量的用户场景是不符合Bolding使用超级计算机的标准,例如商店用来追踪用户进进出出的传感数据就不需要超级计算机。Bolding在一定程度上也认同这样的情形。
Bolding说: “对于很多的物联网应用来说,分析速度并不是关键, 所以我们对中小企业的用户还没进行推广使用超级计算机”
但是有趣的是有些公司尽管切合Bolding使用超级计算机的标准,他们仍然没有选择使用超级计算机。
例 如,虽然GE公司在它的科研中有使用超级计算资源,但是GE公司的一定数量的应用仍是依赖于基于云的Predix engine分析其物联网感应器产生的数据。GE公司很多部门每天都在使用Predix来进行数据分析。他们并没有感受到更快处理速度的超级计算机因高投 资带来的高效益。
“依我们观察,大部分的用户场景并不需要额外的计算能力”, GE运输软件首席技术官Wesley Mukai说,”目前我们还没有看到需要更多计算能力的应用。”
Mukai说依赖于云会给开发带来了一定的困难,程序员需要修复当某个组件宕机的情况,但是成本经济学要求他们只能采用云解决方案。
Conway认为实际情况也许不是这样的,他认为真正的原因是缺乏对当今超级计算机能力和成本有个清晰的认识。 Conway说: “在那些已经开始使用超级计算机的公司中,有很大一部分的公司之前就有使用超级计算资源。”
然而,Conway又说了:”你不必过度采购, 即便人们不使用超级计算机来处理大量的数据,事情还是照样的做。”
事实上,云解决方案很适合大数据的使用场景,Conway以诺华制药公司为例解释,这家公司就使用Amazon Web Services在4个小时的时间内分析2千1百万个分子。
Conway 认为这不是物联网的使用场景, 但是这是一个很好的运用云计算解决方案的例子。因为每个测试分子任务都有自己独立的进程,即便一个组件宕机了,整个分析任务不需要重现启动。而且诺华公司 只需要支付一定金额大概20,000美元就可以完成这些测试,如果可以耐心等待更长的时间输出分析结果,他们将付的更少。
关键的因素是分析速度。云可以处理大量数据,在一定程度上也可以处理复杂问题,但是如果分析速度是关键因素,公司期望在几分钟或者几秒钟而不是4个小时或者1个小时内获取答案,那么我们就需要超级计算机的解决方案。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在数据驱动决策成为商业常态的今天,数据分析师这一职业正迎来前所未有的机遇与挑战。很多希望转行或初入职场的人士不禁询问:数 ...
2024-12-25数据分析师,这一近年来炙手可热的职业,吸引了大量求职者的注意。凭借在大数据时代中的关键作用,数据分析师不仅需要具备处理数 ...
2024-12-25在当今数字化变革的浪潮中,数据分析师这一职业正迎来前所未有的发展机遇。回想我自己初入数据分析行业时,那种既兴奋又略显谨慎 ...
2024-12-25在当今信息爆炸的时代,数据已经像空气一样无处不在,而数据分析则是解锁这些信息宝藏的钥匙。数据分析的过程就像是一次探险,从 ...
2024-12-25在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19