大数据分析报告：大数据+机器学习将成为大部分企业的标配

一、什么是大数据？

数据已经被使用了十几年了，比如它们总是被用于各种分析，所以为什么说是「大数据」呢？主要是因为我们现在可用数据的数据量（Volume）、处理速度（Velocity）以及数据种类（Variety）。数据并不新，只是比之前大得多。

二、什么使得数据更大？

大部分传统数据是结构化的或整齐有序的数据集。而后，全球进入了数字化，互联网也随之而来。我们所做的大部分事都能转录成 1 和 0 组成的字符串，进行记录、存储、处理以及分析。

对大型企业机构而言，数据存储成本直线下降。企业如今有了选择：要么把所有的数据存储到远程数据中心，要么转包给基于云的数据存储提供商。

如今，全球每天创造 2.5 个五万亿字节（IBM，「什么是大数据？」）。当然，这些数据并不是都与商业有关，但数字之后的信息表明公司可用的数据规模一直在增长。不可否认，大数据的增长正在改变现代商业的外观。但公司如何处理数据至关重要。

实际上，如今每一个产业在某种程度上都是信息驱动的。金融、专业服务、制造、零售、物流、交通等等。没有一个分支能逃脱数据革命的影响。

从机器学习到人工智能以及商业分析，这一科技的大规模应用超越了传统的 IT 部门的限制，推动创新。但仅仅大数据达不到这一点，它是洞见的来源。

三、SoftServe 大数据分析调查

为了帮助理解这一新场景，我们呈现了 2016 年的 SoftServe 大数据分析调查，这是在接下来 12 个月或更久的时间中可能会颠覆商业与公司的大数据趋势的审查报告。

这一调查有 300 位调查对象，这些中到大型公司的决策者 100 位来自英国，200 位来自美国。其中的 150 位所在的公司有 1000 到 3000 位职员，剩下的 150 位调查对象代表的公司所有职员超过 3000 位。调查对象分布于六大产业：

商业和专业服务

制造业

金融服务

零售

物流与运输

其他商业部门

这一调查由调研机构 Vanson Bourne 在今年 4 月份进行，跨行业调查了组织领导者对大数据分析和商业中的风险、挑战和机遇的看法。该调查的目的在于揭示最新的机会和见解，以帮助你从今天的海量数据中获得最大价值。

我们的报告是受到了如今各产业、地方、大小公司内的决策者公认的机遇的启发。我们探索了他们如何使用大数据与分析重塑各自公司的方方面面，也探索了他们利用这一新生的技术与方法进行转型时所面临的挑战。我们调查的领导者非常幸运的能处于数据革命的前沿位置，这场革命有望彻底改变我们做生意的方式。

四、大数据的影响

站在未行者的前方

处于一个步伐不断加速的环境中，一个细节的忽视就会对底线产生重大的影响，一个错误多犯几次的影响将会是灾难性的。在全球竞争中，快节奏的玩家越来越占据主导地位，数据成为建立更加灵活、反应敏捷、多产的商业的关键。

全世界的企业开始公认大数据是一个关键趋势。更重要的是，他们开始将大量的时间与金钱投入到分析服务。从帮助银行追踪实时趋势，到为零售商提供洞见从而帮助他们更好地理解消费者的购物喜好，分析能为每一行业开启新的机遇。

对其当前地位的战略重要性而言，大数据的优势在短时间内就显现了出来。但这一报告发现，尽管大数据分析技术相对较新却分布广泛，86% 的公司已经使用某种形式的大数据分析了。其中，45% 在全公司内使用大数据，41% 部分使用。剩下的还未开始使用大数据的公司中，有11% 计划在未来使用大数据。信息：大数据将很快在全球每一组织的运行中起作用。

五、从一次机遇成为必须品

大数据不再只是一次机遇，它成为了必需品。不久之前，公司还在问他们为什么需要关注大数据。如今，大数据分析已经达到了一个点：63%的被调查公司相信它对保持竞争力至关重要。此外，公司也变得更加容易接受建立在大数据分析方法论上的新技术。

60%的IT 公司使用大数据，在产业采用大数据达到最高度的过程中，科技企业带路前行。同时，零售、物流、运输行业还有很多事情要做，这些公司中只有 29% 使用大数据支持现有的策略。这并不是因为这些行业缺乏应用。对使用大数据的人来说，大数据能成为大商业。零售商可以使用大数据分析网页浏览模式、产业预测以及消费者记录，从而预测需求、定位消费人群、优化定价以及监控实时趋势。

在美国，大数据已经在飞速发展。这使得英国望尘莫及，只有 23% 的英国调查对象在全公司内使用大数据，相比于此美国是 56%。然而，英国看起来在未来会大步前行，53% 的公司已经部分使用大数据，同时 16% 的有计划将大数据并入他们的策略中（相比于此，美国分别是 35% 与 9%）。

六、如何使用大数据

由大数据提供的机遇范围从节约成本到改进分析等。调查对象被问及相比于传统的系统，他们看到的大数据提供的最大机遇是哪个领域。62% 的认为实时分析是如今最大的潜在增长机会。

相比于传统系统，大数据分析为你公司提供了什么机会？

金融服务行业内的公司主要认为大数据的机遇来自于实时分析（70%）以及趋势分析（67%）。

金融服务公司比其他产业内的公司更加重视大数据分析的价值，当出现新技术时也更早的采纳，其中 67% 的调查对象称它为保持竞争力的必需品，68% 期望在两年内使用机器学习捕捉商业洞见。

想要缩小提供的体验与消费者的期望之间的差距让金融机构面临的压力日益增大。银行正在采用来自消费者的线索，也从其他产业学习，比如媒体、移动以及零售，并且基于这些其他产业内的经验设定期望。

在金融领域，知识能提供竞争优势，驱动数百万的附加收益，这比其他产业要多。能提供这种洞见的科技成为了高度追求的对象，大数据分析这样的工具也在上升。对金融部门而言，大数据是迎合客户需求，提供更为快速、准确的服务的关键部分。

制造业有同样的看法，60% 的调查对象认为大数据分析是必需品，且 62% 计划在未来部署机器学习。

对 IT 产业而言，大数据的好处大多可视为是降低成本（80% 的调查对象），反映出他们的使用许可以及节约硬件的意识。

七、机器学习

机器学习是一个新术语，但它有现实生活中的应用

机器学习带来的一大主要益处是能快速而有效地分析海量数据，而人类要做到这一点需要庞大的团队。这已经在金融服务业被证明是有效的，在这个行业内，保险公司、银行和贷款机构需要有价值的及时的洞见。机器学习还帮助金融机构提供更好的客户体验，以及更强的识别发展趋势和模式的能力，从而减小风险。

例如，银行可以使用预测性分析改善贷款批准流程。使用遍及大型匿名数据集的一套标准化准则，银行可以将他们的批准过程从几天加速到几分钟。

公司正意识到这点，当他们孤注一掷，部署机器学习技术时，他们可以在短时间内领悟许多洞见，从消费者在做什么转变为理解消费者为什么这样做。

这份报告显示，在下一个十年，大数据、机器学习和人工智能将无缝对接到许多不同公司的结构体系中。研究结果强调，大数据「甜蜜点」对每家公司是相异的，但是每个部门都能获得相当大的收益。从日益增长的顾客忠诚度到更快的业务流程，来自大数据的奖赏绝不会是微不足道的。像这样的未来投资预计是有意义的。

八、大数据，高价值

然而，当大数据有潜力提供重大价值时，它也存在新的挑战。调查考虑了各行各业的增长困难。例如，零售行业最关心数据管理。

相比于传统系统，大数据分析的数据管理更值得关注。总体上看， 76% 的公司赞同在进行大数据分析时，数据管理比传统系统更值得关注的，这表明数据管理对所有行业而言仍然是一大挑战。这还证明，公司需要针对隐私、安全和管理采用积极主动的方法做好隐私，安保，和管理工作，从而保证所有数据和洞见都被安全地保护起来。

九、打破信息孤岛

公司孤岛都有传统上数据准确性的复合问题（compounded problem）。商业领域有自己的习惯，许多已经习惯于在孤岛中专注于某一焦点上的工作。这会导致独立的数据集以及临时行动，而这些反过来会产生不充分或不精确的数据。未能将这些数据源联系起来，阻碍了不同部门获得关键洞见，这可能就意味着成功与失败的差别。

48% 的金融服务公司认同大数据分析提供了整合数据孤岛的机会。在情理之中的是，与金融世界最紧密相连的公司将大数据视为优先事项。根据 Gartner 的报道（「数据质量现状：现行的做法和发展趋势」），低质量的数据每年让公司付出 1420 万美元。财务报表上不可能存在该对这种级别的损失负责的条目。通过系统地整合这些数据孤岛，大数据转变是可以克服这个挑战的——而且可以将低劣的数据转换为有用的信息。

十、机遇来临

但是，大致来说，未来是光明的。从数据驱动的市场营销到指导油田运营，大数据正在为每种类型的公司加速创新、推动效率以及创收提供机会。

若想在大数据领域成为重要玩家，一家公司需要采取三个至关重要的步骤。第一步是关于数据本身：确保你的信息形式是方便获取和分析的。大多数大公司实际上已经做到这点了，他们拥有的数据通常比他们使用的数据多得多。第二步是可利用的大数据工具，比如 Hadoop、MPP Data Warehouse 和 NoSQL 。近来，拥有专利的或开源的工具和平台随处都可以获得——你需要的是能够利用这些工具和平台完成工作的人。然后我们到了第三步，这通常是最有挑战的问题：专业知识。高级的分析需要员工具备从数据科学到全球范围的隐私法等方方面面的最先进技能，还需要了解商业以及与相关的价值来源。

大数据不仅是一种技术倡议。事实上，它根本不是技术倡议；它是需要专业的科技知识的商业项目。所以，你不能只是加入更多的能力和专业知识，就期待你的 IT 或市场部门开始产生基于数据的洞见。即使他们做到了，公司的其他部门也极有可能不会执行这些洞见。

正如进行数据分析的领导者所发现的那样，在大数据方面取得成功需要另辟蹊径：你需要大数据嵌入和能深入理解你的公司知道提出何种问题的人。这是确保信息和洞见能在不同业务和部门之间分享的最佳方法。这也确保整个公司能认识到一个运行良好的分析程序能提供规模效应。

最终，事先做好准备的最佳方式是咨询一位专家，让其针对你的商业需求提供最好的大数据方案。利用一个全套解决方案，这个过程可以进一步流水线化，这个解决方案能帮助你识别出大数据分析能为你的哪些业务带来最多的利益。未来数据会非常大，对于有效使用数据的公司而言，发展潜力是无穷尽的。