热线电话:13121318867

登录
首页精彩阅读亚马逊对于大数据认识
亚马逊对于大数据认识
2014-07-17
收藏

大数据


        亚马逊CTO Werner Vogels是AWS的主力人员,之前Vogels一直大力提倡公有云,但现在他开始意识到混合云才是企业的现实。

在AWS Summit 2014上进行了主题演讲之后,Vogels和我谈了一下自己的本行。其中一个很有意思的现象就是AWS的观点随着时间推移的变化。AWS在Vogels 领导的时期,大谈特谈什么是真正的云,什么是冒牌云。而在今天,AWS承认了混合云的现实,但是他们显然认为天平会倾向于公共计算这一边。

和它的母公司亚马逊一样,AWS也信奉顾客至上,任何新产品或服务都必须以客户为导向。对于首席信息官们来说,他们可能会被云计算的愿景所吸引,但是他们也不能二话不说地扔掉自己的固有投资。企业的一些功能还是要留在企业内部。

下面是我们谈话的一些要点,主要关于混合云,技术债务,移动化,OpenStack以及大数据的。

AWS的移动性行动。Vogels 表示云计算和移动化不可避免地会交织在一起。他还表示在设备上使用的内容和数据还比较少。“更年轻的企业在移动化方面走在前面,”他表示。AWS的作用是 消除开发流程的复杂性——通过中央ID管理和虚拟工作区——并为创新和敏捷性提供基础。Vogels 表示,“CIO们一直给我们反馈。BYOD(自带设备)很重要,但是他们不希望自己管理设备。他们希望管理虚拟工作区,希望管理资源充足的环境。”

换句话说,AWS和全球其他厂商在移动性方面的方向是一致的。移动性更多地是关于协作和身份管理的,而不是关于设备的。设备管理和桌面电脑一样。值得注意的是AWS——还有谷歌公司和微软公司——将通过在文档分享和协作方面的定价让Box和Dropbox活在地狱中。

云计算无休止地吞噬着更多的后台服务支撑企业。但是,一些公司因为隐私、安全和法规要求等原因无法使用云计算应用。下面就谈一谈如何将私有云和公有云正确地组合在一起。

混合数据中心。Vogels表示,“混合对我们来说很重 要。”他表示,“很明显,我们是公有云,但是现实是对于企业来说,有些东西必须留在内部。”事实上,最大的问题是在未来如何定义混合。是90%的私有加上 10%的公有云吗?还是反过来?或者是两者之间的什么比例?第三个答案是正确的答案,但是定义什么是中间状态需要好运气。

Vogels指出,新闻集团这样的企业正在利用AWS将数据中心云化,比例从40%推向60%, 这就是他们对于混合的定义。AWS的计划是提供一系列工具,例如虚拟专网和直接连接,以及联合身份认证来连接企业内部的数据中心。AWS提供VMware 管理集成的举动更表明了这家公司想要进入混合世界的意图。

AWS的首席解决方案架构师YinalOzkan的一番谈话能够显示出两者之间的细微差别。对 AWS的应用案例从offloading storage和分析到云计算、灾难恢复不一而足。Vogels介绍说,例如,三星在AWS上运行它的Smart Hub TV软件,但是财务交易是在内部基础架构上完成的。为什么会这样?三星集团不同的业务板块都依靠着这些内部的基础架构完成交易,对它进行迁移实在是太困难 了。而且,银行会在云端运行面向客户的功能,但是交易则会留在金融机构内部的数据中心。

那么公有云的部分如何在混合数据中心中占到更大比例呢?那就是循序渐进。Vogels认为高性能计算(HPC)促进云化的关键。石油、天然气及娱乐等行业的众多企业已经在高性能计算系统上进行了投资,但是内部资源可能在几个月内就被预订一空。

Vogels表示,“企业内部的高性能计算成本高昂,在所有的时间都是100%地占用。”他补充道,额外的工作将不得不走向云端。外部事件——需要计算资源进行分析——往往不得不选择云。

企业遗留下来的基础设施和技术债务。AWS和亚马逊都有技术债务——遗留下来的基础架构不可能全部丢掉——Vogels表示关键在于建立一种不会束缚你的技术架构。

Vogels表示,亚马逊公司内部会假定今天的软件在两年后就不再适用。软件必须具备随着时间推移发展的能力。“这就意味着我们不会被我们之前的系统束缚”。他表示,“当然,我们有技术债务,但是我们可以改变系统和运营。我们比客户的处境要好得多。”

值得注意的是,亚马逊公司自己在某种程度上就是混合的结构。Vogels解释说,亚马逊的零售业 务主要运行在AWS上,但是它的产品数据缓存则是在内部进行的。产品信息使用的是专门针对它设计的硬件。Vogels表示,“我们将这些部分留在内部,但 是在云里开发下一代系统。”

AWS根据用户的需求分批处理遗留的基础架构。例如,AWS已经采用了第二代实例类型,并且要求 逐步淘汰旧的版本。Vogels表示旧的系统仍将留在其他功能上。内部高性能计算系统的平均寿命大约是5到8年,但是研究人员会在第二年就开始抱怨,因为 他们没有用上最新的处理器。Vogels表示,“我们可以将这些高性能计算系统转到一般用途上,然后就可以有更快的更新周期了。”

Vogels表示,在涉及到遗留下来的基础架构的时候,企业通常会寻求重组架构,并且在未来加以考验,而不喜欢放弃旧的设施,直接转到云端。

大数据、MapReduce和Hadoop谷歌公司最近表示MapReduce已经过时了,而且这种技术也已经走到尽头了。Vogels同意这种观点。

Vogels表示,最终,“MapReduce会沉到更底层。”使用Hadoop和MapReduce的自定义分析才是至关重要的。 最终,MapReduce将被当成是等式当中的一部分使用,而不是全部。Amazon流行的Redshift服务能够提供MapReduce无法提供的快 速而简单的分析。MapReduce有很多应用,也有一个很大的开发者社区,但是到最后,它会变成大数据组合中的一部分。

数据分析咨询请扫描二维码

若不方便扫码,搜微信号:CDAshujufenxi

最新资讯
更多
客服在线
立即咨询