大数据：大炒作还是大希望_数据分析师

Gartner作为全球最具权威的IT研究与顾问咨询公司，近日在该公司发布的一篇大数据报告中，我们看到虽然目前仍落后于美国本土、但亚太地区的大数据项目实施曲线已经迎来增长——有37%的亚太企业认为自身会在未来两年内看齐美国同行的大数据技术实施水平。报告同时指出，从全球角度看，媒体、通信以及银行机构在大数据投资额度方面名列前茅，这一倾向同样在澳大利亚有所体现。

澳大利亚的知名企业澳大利亚联邦银行（简称CBA）以及高斯与沃尔沃斯等零售巨头在大数据普及运动中扮演着先驱角色。根据Gartner公司的调查结果，目前全球64%的企业已经开始向大数据项目注资，或者打算在2015年6月之前将计划付诸实践。相比之下，2012年调查报告中的同一数字仅为可怜的6%。

美国继续引领风潮

超过三分之一的美国企业（37.8%）已经开始向大数据技术注资，这一比例领先于欧洲、中东以及非洲地区（即EMEA区划）的26.8%；接下来是亚太地区，比例为25.6%；位列第四的是南美洲地区，比例仅占17.8%。

不过亚洲企业已经在大数据领域展现出改天换地的勃勃雄心，有44.7%的受访企业有意在未来两年内着手进行大数据注资——这一比例使亚太地区与美国看齐、且远远高出EMEA地区。

下面来看在投资道路上走得最远的行业——位列第一的是媒体与通信行业（35%的企业已经着手投资）、其次为银行业（34%）以及服务行业（32%），排名最低的是政府机构（16%）与公共事务部门（17%）。

这一统计数字与澳大利亚各大组织的公开活动相互印证。单就银行业来看，澳大利亚联邦银行、UBank以及后者的母公司澳大利亚国民银行（简称NAB）纷纷在大数据投资当中表现活跃。其中联邦银行通过多种特殊方式让我们看到大数据那多种多样的使用途径。首先，该银行希望能在客户与自身接洽时为其提供更具个性化及实时优化特性的服务。这种通过分析提升客户体验的需求已经成为主流趋势，而且在Gartner公司的调查报告中，大部分受访者将此作为大数据项目的首要关注方向（55%）。

将数据摆上商店橱窗

澳大利亚联邦银行还打算将大数据应用在与客户关系更为明显的区域——即作为产品及服务的组成部分。该银行目前正通过广告宣传将大数据处理能力作为自身业务差异化的核心竞争力。他们提醒客户称，“40%的交易处理流程都将涉及我们的这套系统”。此外，银行方面还着力强调其“将原始数据转化为观察结论及创新思维”的数据模式能为用户带来显著的附加价值。

涉及大数据技术的交易比例如此之高，使得联邦银行拥有了对抗竞争对手的有力武器。该银行将数据转化为专有客户观察力以及相关个性化产品的能力大大提高了新生竞争者进入这一市场的门槛。在澳大利亚这类市场规模相对较小的国家，很多行业存在着优势明显的市场领导者。在数据处理能力方面的垄断能帮助这些厂商继续巩固现状，使得规模较小的竞争对手难于扩展自身业务。

大数据带来的优势不仅体现在银行领域，澳大利亚的零售产业也深得其惠。作为在澳大利亚食品市场上占据八成以上份额的巨头级企业（根据富理诚有限公司于2011年5月发布的调查结果，数据来自西农集团及沃尔沃斯公司2010年年度报告），高斯与沃尔沃斯两家公司同样享受到了大数据的推动。

澳大利亚联邦银行在消费产品营销领域同样引入了大数据分析机制。其交互式Signal服务能够生成各类统计数据，包括每月平均存款额、存储额，并汇总来自抵押贷款额、信用卡、个人贷款等金融服务的数据信息。此外，分析对象还包括用户年龄、性别以及邮政编码等，方案可通过个性化信息图表显示个别用户与其同类用户之间的差别。统计结果可通过社交平台分享或者单独下载，还能够与“同我们谈谈”服务的结果一同显示。作为竞争对手，UBank提供一套类似的服务，其分析基础为超过十亿条交易记录。记录的来源包括政府人口普查数据以及由数据分析企业Quantium提供的客户趋势调查。

Quantium公司在澳大利亚的经济体系中占据着举足轻重的战略地位。它收集、整理并分析备类尚未明确辨识的业务交易信息，并为那些需要对客户活动进行透彻解析的客户提供数据及咨询服务。Quantium公司的客户包括澳大利亚本土的众多巨头级消费企业，例如澳洲航空、澳洲电信、IAG（即国际大地测量协会）、eBay、Suncorp、NAB、David Jones以及沃尔沃斯等。今年五月，食品连锁企业沃尔沃斯买下了Quantium的半数股份；此举是为了回应英国零售业巨头Tesco于2011年对分析企业Dunnhumby全部股份的一次性购入。此次总值2000万澳元的收购交易显示了沃尔沃斯在大数据领域的投资决心。

来自零售业的细节信息

在收购Quantium股份的消息刚刚公布时，沃尔沃斯方面称自身有意利用Quantium的数据及服务技术拓展现有客户分析能力——这种分析能力在与竞争对手高斯公司争夺客户方面起着至关重要的作用。双方这种密切的合作关系使Quantium有能力访问来自沃尔沃斯客户交易的未识别数据，其中包括客户借记卡、信用卡以及会员卡提供的日常奖励计划。交易之后，Quantium的现有数据源将得到极大扩展，同样也有助于为其它客户带来更为丰富的产品方案。

沃尔沃斯的主要竞争对手高斯公司同样在大数据领域投入重金。来自母公司西农集团的高斯首席财务官Terry Bowen在最近一篇由《澳大利亚》杂志刊发的报告中称，整个集团正努力将数据分析机制推广到全局供应链当中，从而为西农及相关供应商带来便利。来自高斯公司Flybuys客户积分计划以及信用卡消费记录的数据作为基本客户信息之外的补充、大大丰富了公司的分析素材来源。

政府部门利用大数据查错补漏

Gartner公司在研究中发现，政府部门在大数据投资方面的表现位于全球各类机构末尾（只有16%已经开始进行投资），不过澳大利亚政府表现积极，于今年八月发布了《澳大利亚公共服务大数据战略》。澳大利亚政府CIO Glenn Archer在一份声明中指出，这项战略方案“提供了一整套将政府事务与大数据相结合的思路，旨在提升服务、开发新型服务、提供更好的政策建议并结合隐私保护与现有ICT投资利用等领域的最佳实践。”

除了改善服务效果，该战略还重点关注大数据的其它潜力，例如支持成本削减。详情可参照麦肯锡全球研究院发布的报告《大数据：创新、竞争与生产力的下一个前沿》。根据该报告的估算，欧洲公共事业部门的总体管理成本拥有高达两成的缩减空间，相当于三亿欧元。

《公共服务大数据战略》与新近启动且涵盖各政府部门的《数据分析卓越中心（简称DACoE）》方案联系紧密。DACoE方案由澳大利亚税务局牵头，意在满足部分机构对于深入分析能力的强烈需求——这条消息很可能受到那些实际经济所得与纳税申报不相符的群体的广泛关注。根据这份战略文件的说明，“DACoE将通过创造通用型功能框架帮助各政府部门获得分析能力，从而实现技术知识、技能以及工具的顺畅共享；此外，各部门还将与多家大专院校建立合作关系，意在培养分析技术专家。DACoE将遵循<大数据战略>报告以及‘大数据委员会’的指导意见。”

接下来的步骤在于推动于今年二月组建的“大数据委员会”逐步实施六大行动战略中的各既定项目，其中包括针对大数据最佳实践指南、认知大数据技术壁垒、提高大数据技能、为可靠的数据分析流程与信息资产登记提供指导意见、始终紧跟大数据技术的发展步伐。

重返校园

作为众多既定战略要点中的组成部分，“提高大数据分析领域的技能与经验”不单对政府来说属于巨大挑战，整个澳大利亚包括全世界也同时面临着这个难题。Gartner公司在研究报告中强调称，分析技能的匮乏正是大数据三大挑战之一——另外两项分别为从大数据中获取价值以及定义大数据战略。

麦肯锡预计截至2018年，单在美国本土就将出现十四万到十九万个分析职位空缺，需要对分析事务具备基本了解的经理岗位更将多达150万个。

悉尼科技大学正是目前积极尝试补救分析技能匮乏状况的院校之一，其旗下的高级分析研究所（简称AAI）将对数据及分析科学展开全面研究，旨在帮助毕业生深入掌握分析技能。目前该研究所已经与多家企业、组织以及政府部门建立了合作关系，其中包括微软研究院、诺基亚、AMP、SAS、IBM、Westpac、ATO以及民政部等等。如果澳大利亚能够被纳入亚太地区大数据技术的发展路线图，那么它将为平均水平的提升做出巨大贡献。

摸着石头过河

澳大利亚各企业及组织在普及数据分析方面的实际表现还取决于其它几大关键性挑战。而根据Gartner公司的研究报告，搞定大数据领域的前两位挑战——即如何从大数据中获取价值以及如何定义大数据战略——将成为其中的决定性因素。

对于刚刚在大数据发展道路上起步的组织而言，这两种挑战可谓不可逾越的鸿沟。正如Gartner公司的报告所陈述，大家需要从知识储备入手，逐步完成战略设置工作。

“资金投入的数额并不大，事实上所需的主要资源在于时间，”报告指出。

各企业正努力验证大数据概念，并在成功试水之后开始部署并使用数据分析工具，到这个时候投资额度开始快速上升。在Gartner的调查报告中，约有七成组织“已经完成了知识储备的积累与战略形成阶段，开始迈向试点（44%）与部署（25%）等新层面。”

不过对于采用大数据的组织来说，学习曲线正变得越来越短——这完全得益于越来越多可以借鉴的成功先例。举例来说，谷歌、Amazon、雅虎以及Facebook等全球在线企业作为大数据领域的先驱者，纷纷拥有各自的实验性经验以及试点流程。这些企业作为开路先锋，必须完全凭借自身力量进行探索，甚至在必要时创造出相关工具——这些工具目前已经被视为大数据技术的实施基础，其中最知名的当数MapReduce与Hadoop。而从他们的开拓经历以及各国家与行业大数据领导者们的实践尝试中，众多后来者获得了宝贵的经验与积累。

在澳大利亚，像联邦银行、沃尔沃斯以及西农/高斯这样的例子已经成为其它企业效法的对象。对于这些大数据先驱者来说，他们在未来的价值链当中更可能占得优势地位、获取丰厚回报——这是因为他们能够率先发掘出数据中蕴藏的力量，从而达到先人一步、高人一等的效果，这也正是西农/高斯公司的预期目标。一旦拿出切实可行的成熟方案，后继参与组织将不得不在获取收益的同时承担义务，即遵循数据的所有权、管理以及隐私规范，并在原则上认同利用专业知识评估大数据价值的方式。

而其它方面的发展又会帮助企业转而为大数据技术的更新迭代带来回馈。举例来说，来自政府机关的数据集中往往包含大量有价值信息且通常不收取费用，其中最典型的例子就是澳大利亚统计局公布的人口普查数据列表。根据凯捷公司发布的开放数据经济体系调查报告，澳大利亚已经与美国、英国、加拿大和法国一道成为开放数据“潮流先锋”之列。

澳大利亚经济环境中的数据集正持续膨胀，这一趋势有助于提高大数据信息的采用机率——特别是越来越多的企业及政府机构开始向非竞争者分享自己的数据集，从而填补现有数据集空白——并最终改进整体数据价值。以Quantium及邓百氏等公司为代表的数据服务企业同样有机会发挥自己的作用。通过与深层数据分析运用相结合，这些企业将为大数据在澳大利亚本土经济中的作用做出贡献——至少对大型组织而言是如此。目前我们还不清楚小型企业（在澳大利亚全部组织中占据九成以上比例）是否有能力构建属于自己的大数据工具套件及知识储备，但某些分析即服务产品的出现确实有可能帮助这些灵活的市场参与者在行业巨头的鲸口中找到自己的生存空间。最近一段时间，惠普、EMC以及IBM纷纷推出分析即服务模式，希望借此为自己争得新的业务增长点。

正如Gartner在报告中所指出，“对于大数据来说，2013年将成为实验与早期部署的发展元年。”我们可以预期在未来一年中看到更多澳大利亚企业采用更加成熟的大数据方案，也将有不少企业循着先驱者的足迹做出属于自己的尝试。目前大数据的实施曲线与十八或者二十四个月之前的云计算曲线类似——主要处于学习阶段、少部分着手早期实验，但部署比例还比较低。目前云计算已经发展成为日趋主流的业务能力，我们希望大数据也能遵循类似的发展轨迹。