未来五年,大数据将与云计算更加融合_数据分析师
云端的大数据就像科幻小说里对未来的描绘一样:它在这,只是不是很均匀地分布罢了。
高调的厂商,比如AWS、谷歌、微软、IBM和Rackspace等,都提供云基础的Hadoop和NoSQL数据库平台来支持大数据应用程序。很多初创公司都引入了云平台上的管理服务,按需部署自己的系统。大数据和云计算的融合往往是互联网公司的首先项,尤其是初创的软件和数据服务供应商。
但很多主流公司并不像互联网公司那样看重云端数据管理。一些公司担心云端的数据安全和隐私保护。一些公司还在大型机和其他本地系统里运行大部分操作。存储在本地的数据量之大,让数据迁移充满挑战。另外,现存数据中心可用的处理能力让AWS和谷歌等公有云的成本优势不值一提,即使公司对于云系统所谓的降低成本、增加弹性有兴趣,最终也未必会选择它。
花旗集团就是一个例子。随着网络成为普及的应用界面,金融服务公司面对的是洪水般的非结构化数据。它还需要处理线上金融应用程序中不同的数据结构。这些挑战让花旗集团最后选择了MongoDB NoSQL数据库。MongoDB获得了AWS和其他云平台的支持。花旗数据公司负责平台工程的全球领导者Michael Simone表示,花旗选择了在云端应用该软件。不过它应用的是私有云,应用限定在纽约公司的防火墙内,由它的IT部门全权管理。
在纽约的MongoDB大会上,Simone告诉与会者:“目前,我们还没有扩展私有云或集成公有云的打算。花旗集团的数据中心很大,技术积累也很深厚,我们可以构建自己的内部部署的云就算。”
大数据云才刚刚开始
总体来看,在云端运行大数据系统仍然是小众行为。在数据仓库研究院开发的大数据成熟度模型中,十个月内有222名IT和业务专家完成了线上测评,只有19%的人表示它们的组织在用公有云、私有云和混合云支持大数据应用程序。另有40%的人表示正在考虑云部署,同时有超过三分之一的人表示它们没有使用云计算的计划。在企业管理协会和9sight咨询公司开展的线上调查中,云计算使用比例略高:259名受访者中,39%的人表示他们的大数据安装包括云系统。
WeatherChannel公司是采用了公有云的案例,Basho技术公司在AWS可用性区域的多个分区运行了Basho技术公司的NoSQL数据库Riak的复制实例,处理和存储来自卫星、雷达系统、天气站等来源的混合数据。该数据库每五分钟就为预测引擎更新3万6千多地理天气网格的视图,它还用于归档历史数据。
美国TWC公司执行副总裁兼CIO Bryson Koehler认为,Riak的容错技术和同时支持内存和硬盘存储的功能特别好。经过比较,因为处理效果低,主流关系型数据库并不能适应高容量的云环境,至少不能以较低的成本适应高容量的云环境。
但是,在云端部署NoSQL软件也是旨在扩大TWC灵活性的更广泛的IT战略的题中之义。公司在谷歌云和AWS上运行应用程序,以免被任何供应商或技术锁定。
云计算:更多选择 更多可能
公有云供应商已经为了满足大数据需求,已经扩展了数据管理能力,不止包含关系型数据库。例如,亚马逊近几年拓宽了AWS云选项,包含了很多新兴技术,比如NoSQL数据库DynamoDB、Hadoop部署ElasticMapReduce和ElastiCache内存缓存服务、Redshift数据仓库和Kinesis流数据系统。
美国咨询公司Cloud Technology Partners高级副总裁DavidLinthicum表示:“AWS和其他云供应商也创建了相当成熟的服务。一些可用的数据管理云平台已经发展到第五代第六代了。”
对于拥有强大的内部处理能力的大公司来说,给大数据管理池增加云基础的系统并不是必须的。美国云服务咨询公司Nimbo的首席基础架构师Aaron Ebertowski表示:“为什么要企业定购它们已经有了的东西呢?企业已经在存储架构投了成百上千美元,不会轻易舍弃的。”
业绩要求也是公有云不受大数据用户青睐的原因之一。加拿大海洋网络(ONC)是一家非营利性机构,该机构管理着英属哥伦比亚的一对海洋气象台,计划建立一个公司内部私有云,为使用海洋传感器提供数据的应用模拟地震和海啸创造条件。
目标在于更加准确地预测可能发生的自然灾害带来的后果,为政府当局采取预防措施缓解自然灾害给人们带来的影响,Benoit Pirenne这样说道,他是ONC的数字基础设施主管。
需求——充足的大数据力量
该机构位于维多利亚大学,去年春天得到了一项三年项目的批准和资金支持。计划进行的分析工作包括收集传感器的多次测定结果,运行预测模型以得出可能发生的所有情况集。但是完成这项工作需要大量数据和强大的计算能力,Pirenne说道。
“要计算现实状况中的“模拟”几乎是不可能完成的任务,就算在非常高级的平行云系统中也不行。”他说。因此,ONC正在与IBM合作构建一个内部云加过来处理流程和分析工作。
新兴的管理服务供应商——例如Altiscale, BitYota, Qubole, Treasure Data和Rackspace'sObjectRocket附属公司等——称他们通过以低于云平台供应商的价格接管部署和管理任务,能够为用户企业将大数据云装置做的更方便、更划算。
美国的Sellpoints公司是一个线上营销和分析服务供应商,使用Hadoop和Spark的流程工具迅速构建查询表格,查询数据量达到TB用户网页活跃度数据,BennyBlum如此说,他是Sellpoint公司业绩营销和分析的副总裁。
Hadoop实用工具
Blum的公司首先将其自身的Hadoop系统应用到了亚马逊弹性计算云(或EC2)平台上。但是现在该公司已经换成了Altiscal的Hadoop作为服务供应。这一服务也在亚马逊云上运行,但是Blum表示将Hadoop的构造和管理下线为Sellpoints带来了红利。“Altiscale为我们管理了基础设施,这样我们就不必为维护集群而付运营费了。”
但是至少迄今为止,该类服务的用户基本都是这些新兴企业自身。大多是服务供应商的顾客基础还维持在一位数或两位数。
RickSherman是AthenaIT解决方案这一美国咨询公司的创始人,他认为有理由相信基于云端的Hadoop服务尤其能够在更广阔的基础上运行。“人们在使用自给自足的Hadoop时遇到了一堵墙,”他说。“这在时间和技巧上都需要付出很多。我认为最终Hadoop作为服务会比公司内部Hadoop更具吸引力。”
然而有些企业还完全没有准备好接受公有云中的Hadoop,而且近期内也不会准备好接受。这就是Ayad Shammout所面临的问题,他是美国Beth Israel Deaconess医学中心(BIDMC)的数据平台和商务智能主管。去年他还是位独立咨询师的时候,就与另一位咨询师合作,为BIDMC做了一个大数据和云计算定义证明项目。为了降低SQL服务器数据库上的存储量和流程需求,他们使用了Azure HDInsight,Microsoft的基于云端的Hadoop发行,用以卸载应用审计日志的存档文件,这些日志用于微软的Azure云管理报告。
Shammout表示示范项目展示出了在云端云顶Hadoop应用的潜力。他还认为像BIDMC这种卫生保健型供应商最终能够将其实现。但是在未来几年之内,美国的联邦健康保险可移植性法案和问责制法案还阻碍着生产的展开。
“如果三四年前我跟你谈论云端,我会说‘这不会发生的。’”Shammout说道。“现在我认为云端会在某些部门实现应用。我的期望是再过三四年,云数据隐私就不成问题了。”
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
“最近复购率一直在下降,我们的营销力度不小啊,为什么用户还是走了?” “是不是广告投放的用户质量不高?还是我们的产品问题 ...
2025-02-21以下文章来源于数有道 ,作者数据星爷 SQL查询是数据分析工作的基础,也是CDA数据分析师一级的核心考点,人工智能时代,AI能为 ...
2025-02-19在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31