大数据分析调查报告：尽管困难重重，企业依然满怀热情

前言

自18个月前上一次调查以来，大数据分析工具取得了稳步进展；这表明试点项目和概念证明继续转变为生产环境应用程序，41%的企业声称部署了一种生产应用程序，而上一次只有10%。

• 与所有主要的企业技术采用生命周期一样，客户部署软件的能力受制于吸收消化复杂软件的能力。
• 具体来说，阻碍内部部署型Hadoop更快发展的两大限制因素是庞大的管理开销和需要专门技能。

两个隐含的重大影响造成了厂商号称100%的增长与实际现状之间出现脱节。

• 许多没有使用的软件堆积在客户的“库存”中――就像上世纪90年代中后期企业资源规划（ERP）和企业互联网基础设施采用方面出现泡沫那样；在前期收入少得多的订阅软件盛行的时代下，厂商可能竭力推销用户目前吃不消的单子，以期抵消直销活动的高昂成本。
• 隐藏的挑战，尤其是随着Hadoop进入主流：由于管理和技能方面的开销要求比较低，Hadoop即服务以及来自AWS、Azure和谷歌的云原生服务更容易“消费”。

概要

来自厂商和研究公司的夸大说法声称Hadoop厂商的收入增长率高达三位数；声称对参与大数据分析生态系统的另外许多企业来说，数字接近三位数。Wikibon的调查结果表明这些夸大说法与实际情况之间存在着脱节。这种脱节意味着企业客户的软件“库存”越积越多。到某个时候，我们可能会看到库存“修正”，企业会放缓采购，以便部署的系统开始赶上来。

从许多方面来看，Hadoop和大数据分析工具的采用与上世纪90年代中后期两个超速发展的软件市场的情况颇为相似。当时，ERP应用软件（比如PeopleSoft）和企业互联网基础设施软件（比如Broadvision）都出现了类似增长。但那时众多企业无法同样迅速地吸收消化软件；我们的调查结果表明，现在它们同样无法迅速吸收消化。

无论那时还是现在，管理和开发技能以及部署和运行新应用架构的操作流程无法以三位数高速增长。当初担心遗留应用软件受到千年虫（Y2K）的影响，加快了ERP软件的采购。而15年至20年前，生怕错过互联网革命为互联网基础设施起到了助推作用。同样，我们认为，如今生怕错过大数据分析革命也在促进采购。

除了这些需求方面的问题外，还有新的供应方面的问题。上世纪90年代中后期，企业软件和商业模式通过销售昂贵的软件前期许可证，支付直销团队所需的极高昂的成本：公司每创收1美元，直销方面至少要花0.5美元的成本。研发成本和利润来自每年可续生的维护费，日益庞大的用户群带来了相当可观的维护费。由于开源软件唱主角，现在很少有前期许可证收入可以支付那些销售和营销开支。而按照会计原则，厂商又无法事先确认为时多年的订阅收入单子。因而，厂商面临更大的压力，设法销售大宗单子来支付高昂开支，可是客户吃不消这种单子。反过来，厂商至少可以要求客户支付这些采购费，所得收入支付部分销售和营销开支，即使厂商的报告利润很低或者亏损。

调查方法概述

Wikibon对美国企业的300名从业人员进行了一次网上调查，这些企业已经部署了大数据分析项目，或者评估在2015年秋季开展大数据分析项目。这项调查是2014年针对同一群调查对象开展的一项调查的后续。许多问题一样，那样我们可以分析一段时间后的进展。我们对大数据分析下了笼统的定义，包括传统的纵向扩展型关系数据库管理系统（RDBMS）难以管理的技术和数据。想查看调查方法和调查对象概况的全面描述，请参阅文章末尾的“调查方法和调查对象”这个部分。

调查结果解读

（在可能的情况下，我们将调查结果描述了相对2014年春季调查的百分比变化）

针对大数据分析的态度：认为大数据分析是竞争优势来源的企业多了6%。

许多企业相信，大数据分析工具对业务将至关重要，是一个新的竞争优势来源（52.1%），而不是主要用来补充现有的数据仓库和商业智能工作负载（43.2%）。2014年春季，持有这两种态度的调查对象比例相当。

图1：针对大数据分析的态度（来源：Wikibon 2015）

大数据分析部署现状：拥有至少一个生产环境应用程序的企业多了10%

试点项目和概念证明（POC）继续稳步成熟，进入到生产环境。企业正从部署的评估阶段（2014年春季41%，2015年秋季32%）进入到至少将一个应用程序部署到生产环境的阶段（2014年春季31%，2015年秋季41%）。这种转变表明，企业在采用大数据分析方面取得稳步进展。

图2：部署状况和成熟度（来源：Wikibon 2015）

大数据分析项目结果：相比18个月前，声称“取得成功”的企业多了4%

2015年春季声称取得成功的企业（44.6%）比2014年秋季（40.6%）多一点。虽然它们处于采用大数据分析工具的不同阶段（评估阶段、概念证明阶段和生产阶段），几乎所有（98%）的企业声称，至少获得了部分价值，觉得自己在往正确的方向前进。

与我们的假设相一致，大企业（员工数量超过5000人）声称取得成功的可能性比中小企业高出12%（50.7%比39%），大企业更有可能拥有足够的技术技能。

角色不同，结果评价大不一样。技术型人员（基础设施管理员和大数据科学家）比业务人员（业务分析员和用户）更有可能声称“取得成功”：54.1%比32.6%。我们将这22%的差异归因于技术人员更有可能认为正常运转的集群是成功。业务人员更有可能认为可用的、可信的库（含有可付诸行动的分析结果）是成功。很显然，业务用户当中还有增长空间。

图3：大数据分析项目的结果（来源：Wikibon 2015）

大数据分析的主要使用场合：IT操作支持和提取转换加载（ELT）各自超过50%

IT部门常常部署新技术，支持自己的使用场合，以便获得支持更广泛的生产环境部署所需的技能。大数据分析工具似乎遵循这种模式。

最流行的应用程序以IT操作支持为中心，一半以上的企业提到了它（允许多选）。此外，这些应用程序中70%以上在生产环境。

这个选择似乎类似大型互联网服务公司当中的早期采用情况。它们使用Hadoop来分析日志文件和点击流，以便管理系统、改善应用程序的功能特性。作为一种即开即用的提供类似功能的应用程序，Splunk大受欢迎，这可能与这个结果有着关系。

对大多数调查对象来说，ETL也是一种应用程序。这个结果与Hadoop“跨越鸿沟”的应用（比如数据湖）相一致，这种应用还卸载了来自数据仓库的ETL处理任务。

混合操作型分析应用程序的部署状况：部署到生产环境的企业比18个月前多了15%

使用大数据用于操作型/事务型生产应用程序的比率在2015年秋季相比2014年春季有所提高：66.3%比51.6%。相比之下，那些还没有部署应用程序，但计划在今后六个月部署的企业减少了13%，减至32%。

在过去18个月间，企业在将其中一个应用程序部署到生产环境方面取得了显著进展。事务功能和分析功能的组合是部署方面出现如此大幅提升的一个显著特点，这表明这一类新的应用程序会在将来得到广泛采用。其中许多应用程序将属于Wikibon研究人员认为的智能系统（Systems of Intelligence）。

图4：混合事务型大数据分析应用程序的部署（来源：Wikibon 2015）

支持操作型大数据分析应用程序面临的挑战：近实时集成和总体性能

虽然生产环境下操作型大数据应用程序的数量可能在增长，但是让所有组件适当地协同运行的信心仍有待提高。重点是让基本集成和操作性能都毫无问题。

IT从业人员和业务人员列出了一系列挑战（可以多选）。这包括将分析工具以近实时方式集成到应用程序中，或者将来自操作型应用程序的数据馈送到分析工具；面对数据量庞大、读/写操作次数高以及并发用户数量多的情形，保持应用程序性能。

如今，整合新的数据源和优化算法是不大艰巨的挑战。

图5：成功部署混合事务型大数据分析应用程序面临的几大障碍（来源：Wikibon 2015）

Hadoop方面的使用、体验和计划

182位即61%的调查对象声称，所在企业使用了Hadoop。

管理开销：客户环境从单一集群增加到3个或更多个集群后，每个集群的管理员数量减少了一半。

只有一个集群的客户声称，平均需要3.5名管理员；而拥有2个以上集群的客户声称，数量减少到1.4名，因为他们更能充分利用稀缺的技能。总的来说，调查对象声称，每个集群需要2.2名管理员。

图6：每个集群的管理员数量（来源：Wikibon 2015）

部署在Hadoop集群上的软件

调查对象声称，平均近3个软件工具部署在Hadoop集群上。最常被提到的工具是Cloudera Manager，达到32.4%，但Spark被提到的频率几乎一样高，为29.7%。HBase也有18.7%，而Hive低一点，为18.1%。大多数调查对象可能并不认为MapReduce是一种软件工具，因为它的提及率相当低。

计划在今后12个月将Hadoop用于生产环境

绝大多数调查对象声称，他们如今就在生产环境下使用Hadoop，或计划在今后12个月内使用。

主要的应用程序（可以多选）

客户分析应用程序（比如客户流失和营销活动）共同排名超过50%，这不足为奇。ETL跨越鸿沟的初使使用场合超过50%。欺诈检测应用程序达到37%。

Hadoop方面的长期计划

虽然认识到大数据分析对业务成功而言很重要，但是调查对象通常并未准备好拥抱Hadoop代替数据仓库；45.6%的调查对象表示，Hadoop战略与传统的数据仓库技术扮演同样重要的角色，都获得了投入。31.2%表示了类似的观点，但是将Hadoop用于不大关键的应用程序。然而，13.2%将Hadoop用于代替传统的数据仓库技术――或者获得新的开支（6.6%），或者将目前用于传统数据仓库的一些开支实际上改而投入到Hadoop。

相对数据仓库，大公司对于Hadoop部署所持的态度比小企业来得积极大胆，小企业更有可能认为Hadoop和传统数据仓库“扮演同样重要的角色”。

图7：相对数据仓库的中长期战略（来源：Wikibon 2015）

员工数量超过1000人的大企业（58.8%）比小企业更有可能拥抱“两个角色同样重要的”战略，40.5%采用了“稳步增加投入”战略。相比大企业（31.4%），小企业（45%）往往将Hadoop主要用于“不大关键的分析工作负载”――显得比较谨慎。

Hadoop方面的满意度

满意度比较高――10.4%声称他们只是“有点”满意，只有1个调查对象声称“有点不满意”。95%声称净推荐分高于80%。

图8：Hadoop方面的满意度（来源：Wikibon 2015）

开源Hadoop发行版与商用Hadoop发行版：商用发行版的采用率随生产部署一并增长

2014年春季到2015年秋季，出现了一股非常大的趋势：不再依赖免费的Hadoop发行版，改用付费订阅。随着大数据分析工具变得更整合到操作型应用程序中，企业变得更依赖能为这些关键智能系统提供优质工具和支持的厂商。员工数量超过10000人的公司中72%在使用收费发行版，而员工数量不到10000人的公司中只有64%使用收费发行版。然而，这两类公司都从免费发行版向收费发行版转变，转变速度相似。

图9：商用Hadoop发行版相对纯开源发行版的采用（来源：Wikibon 2015）

相对Hadoop的Spark计划和体验：Spark部署于生产应用的步伐远落后于Hadoop，却被寄予厚望

Spark仍处于早期阶段，只有6.9%的企业在生产环境中至少部署有一个Spark应用程序。然而，74.0%的企业在评估Spark，或者将Spark处于试点项目/概念证明阶段。调查对象非常看好Spark在未来计划中的地位。78%表示，他们预计Spark会取代一些原本放在Hadoop处理引擎（比如Hive）上的新工作负载。足足有20%的调查对象表示，他们预计Spark会取代原本放在Hadoop引擎上的相当多的新工作负载。

普及看好Spark，一方面可能是由于它仍处于蜜月期。部署到生产环境和规模扩大免不了会带来初期困难，未来会更频繁地出现。

图10：Spark部署的成熟度（来源：Wikibon 2015）

一半以上的调查对象声称在使用Spark的SQL库，Streaming稍落后于它，这不足为奇。四大库得到广泛使用，这表明许多应用程序其实在充分利用诸多库之间日益集成这一点。

公有云方面的计划

企业在大量使用公有云用于大数据分析――74%的调查对象称，他们在云端处理一些生产工作。使用Hadoop和使用原生服务的企业一样多。我们定义的原生服务以AWS服务为例，比如Data Pipeline、Kinesis、DynamoDB、Redshift，以及在谷歌去云平台和微软Azure上的对应服务。一些用户声称这两种方法都用。虽然2014年春季调查对象表述这个问题有点不一样，但在我们的2015年调查中，公有云使用总体增长了5%。

图11：大数据工作负载在公有云上的采用（来源：Wikibon 2015）

Hadoop不是一个产品，而是一个迅速发展的、创新的生态系统。其缺点是，管理开销相当高，具体表现为需要新的专业技能。我们的一部分假设是，随着Hadoop部署进入到主流，中小企业（员工数量不足5000人）会更倾向于将Hadoop部署到公有云。我们不仅预计部署到云的Hadoop其份额会增长，还预计原生云服务的份额也会增长。

采用Hadoop的大企业往往在公有云中处理比其他企业更多的生产工作，原生公有云服务的使用增长率与非Hadoop使用相当。我们认为，大企业拥有让Hadoop走得更远、进入到生产部署所需的技能，无论是部署到内部还是部署到云。我们预计，一段时间后，中小企业会将更多份额的工作负载部署到公有云，因为这对操作要求比较低。

公有云用户提到这一点：数据已经在云端（58.0%）及/或公有云提供了操作简单的优点（53.8%）。44.5%的用户认为，提供商能为自己提供一套更好的工具，可以更轻松地构建端到端应用程序。

图12：使用公有云的几大原因（来源：Wikibon 2015）

IT用户与业务用户在当前和未来公有云计划方面的脱节

业务分析员和用户（36.1%）声称使用原生服务的程度高于基础设施管理员和数据科学家（30.6%）。这种不大的差异可能缘自这个事实：企业的业务部门在使用公有云，而IT部门甚至一无所知。我们预计这种差异会拉大。

技术人员更有可能（22.4%）声称没有或不会将公有云用于其大数据分析项目。另一方面，业务人员更积极使用公有云（只有13.6%表示没有或不会使用公有云）。这可能是由于技术人员偏向“我们自己搞”。

调查方法和调查对象

2015年秋季，Wikibon对美国的303名大数据分析从业人员进行了网上调查。调查一开始就询问调查对象对于大数据分析的了解程度。回答对大数据分析工具至少“有点熟悉”或“非常熟悉”的调查对象被要求继续进行调查。

出于这次调查的需要，我们将大数据分析项目定义为：

• 利用非传统数据管理工具和技术，比如Hadoop、NoSQL或大规模并行处理（MPP）分析数据库及/或……
• 涉及分析多种结构化及/或非结构化数据，比如点击流、文本、日志文件和社交媒体数据
• 出于这次调查的需要，大数据项目并不包括只涉及使用关系数据库或其他“传统数据管理技术”的项目――这些技术用来收集、处理、存储和分析与CRM和ERP应用软件等遗留系统有关的结构化数据。

调查进一步请调查对象明确企业所在行业、企业中的一般角色以及在大数据分析项目中的具体角色、企业员工数量和年收入。Wikibon得到了广泛的企业类型，主要有IT技术提供商（21%）、制造企业（18%）、医疗保健企业（14%）、银行及金融企业（11%）以及零售企业（10%）。

中等规模企业是指年收入在1亿至5亿美元之间，员工数量在1000人至5000人之间。23%的企业其员工数量在5000人至9999人之间，14%的员工数量超过10000人。

调查对象的职位级别从经理到高层主管不等。调查对象还被要求列出与大数据分析项目有关的角色，为此要从下列角色当中选一个：

• 19%的人是业务用户（即业务部门专业人员，使用仪表板及其他可视化方式了解大数据）。
• 24%的人是业务分析员（即部门高级用户，使用Excel和SPSS等工具来分析各个大数据集）。
• 13%是应用程序开发人员（即构建充分利用预测模型和算法等大数据分析工具的应用程序的开发人员）。
• 16%是数据科学家（即高级分析专业人员，针对大量“混乱”的大数据进行复杂分析，并开发预测模型/算法）。
• 28%是基础设施管理员（即数据中心专业人员，管理与Hadoop、NoSQL数据库及支持大数据分析项目的其他技术有关的基础设施和硬件）。

从调查对象概况以及他们对大数据分析的了解来看，很显然，因而获得的分析表明了大数据分析工具在早期采用者当中的现状。这是研究这个课题的必然结果。由于大数据分析技术和方法仍相对不成熟，那些在评估或已部署了大数据分析项目的企业和从业人员显然是早期采用者。各位在考虑调查结果时，需要牢记这一个重要信息。