一个大数据首席科学家眼中的大数据产业2016年终总结

大数据产业发展了两年后，从探索阶段进入了应用阶段。数据被定义成重要的资源，正在得到企业的重视，在经营过程中发挥着重要的作用。企业看到了数据价值，从被动了解走向主动拥抱。

2016大数据产业保持高增长，2017进入智能数据时代大数据产业发展了两年后，从探索阶段进入了应用阶段。数据被定义成重要的资源，正在得到企业的重视，在经营过程中发挥着重要的作用。企业看到了数据价值，从被动了解走向主动拥抱。数据如何同业务场景结合，如何变成生产力，如何指导业务决策成为企业最关心的问题。数据本身是没有价值的，必须同商业需求结合在一起，才能够产生化学反映，体现商业价值。大多数企业还是将精力放在数据架构、技术平台、数据采集等探索工作，没有理顺数据价值应用的发展路径，也没有从数据中看到真正的商业价值，看到智慧的力量。

大数据时代，企业面临海量的数据，其中 80% 的数据为非结构化数据。企业需要对所有数据进行整合，将数据作为一种资产进行管理。数据的商业价值在很大程度上是同数据的实效性正向相关的，硅谷 80% 大数据公司正在从事数据清洗和整理的工作，一方面说明大数据的清洗加工是个巨大市场，另一方面也说明了海量数据的实时处理是个难题。我们先回顾一下2016年中国大数据产业发展情况。

1. 大数据产业发展概况

2015年中国大数据产业进入爆发增长的元年，2016年大数据产业保持高速增长，其中典型的事件有：贵州获批建设首个国家级大数据试验区;贵阳数博会上升为国家级博览会;李克强总理到现场支持大数据产业发展;国务院印发《促进大数据发展行动纲要》系统部署大数据发展工作;在国家工信部的牵头带领下，《大数据产业“十三五”发展规划》正式颁布。工业大数据、大数据资源开放共享、大数据交易、大数据安全、大数据标准、大数据行业应用等领域称为研究重点，首次提出了将大数据产业分为金融大数据、能源大数据、农业大数据、医疗大数据等三十多个分支行业，代表了大数据正在更深融入各行业产业。

2. 大数据产业融资情况

2016 年是中国市场的资本寒冬，很多创业公司深感融资困难，大数据领域企业的融资也受到一些影响，融资总额有所下降，具有技术和商业模式优势的大数据企业融资影响不大，但是初创型企业融资比较困难。2015年有超过50家大数据相关的创业公司获得40多亿元投资，中国大数据市场一片欣欣向荣。2016年全年预估有30多家企业获得融资，融资总额不会超过2015年。

考虑到中国降低 IOE 等国外技术厂商的需要，云计算技术和商业模式成熟，信息化技术平台换代到需求，数据商业价值的逐步体现，大数据产业仍然是未来风险投资的重点领域，特别是2016年人工智能在的崛起，让大数据产业未来发展的前景越来越乐观。大数据产业是一个基础产业，覆盖各个领域，其中人工智能是解决具体商业问题的手段，是大数据产业发展中支撑和衍生出的一个产业。

3. 大数据产业的技术发展

2016最重要的一个事件是Spark 2.0版的发布，将大数据开源产品的商业化推进了一大步，Spark 2.0 对标准的SQL支持，统一DataFrame和Dataset API。现在已经可以运行TPC-DS所有的99个查询，这99个查询需要SQL 2003的许多特性;采用第二代Tungsten engine，建立在现代编译器和MPP数据库的想法上，并且把它们应用于数据的处理过程中，最高性能提升10倍;一种新颖的流处理方式，Structured Streaming APIs，利用Catalyst优化器来发现什么时候可以透明的将静态的程序转到增量执行的动态工作或者无限数据流中。从实用性的角度，Spark提升的几个功能确实是企业用户特别看重的内容，Databricks以及社区开始重视商业需求，Spark向商业产品化的方向转变正在加速，企业对大数据平台稳定性和一致性要求将很快解决。

4. 大数据应用案例

在大数据应用领域，我们看了更多成熟的大数据案例。大数据正在技术主导型产业发展转向价值应用型产业：

1、实时图像处理和识别技术帮助公安系统将违章车辆车牌识别的准确度提升了几十倍;借助于实时监控和图像识别，民警及时解救出多名被拐卖的儿童;刑事案件破案周期在技术进步的驱动下，正在逐步缩短。

2、交通大数据正在帮助城市管理者优化红绿灯，机动车的通行效率提升了30%。

3、金融行业，借助于数据采集和分析，识别出恶意欺诈分子，提升了风险管理水平，降低了营销成本。

4、地产行业，利用外部数据进行项目土地投策分析和商铺配置分析，优化了商业地产投资，提升了项目回报率。

5、养殖业通过测算在栏母猪的数量，预测未来生猪供应量和猪饲料的价格，帮助养殖户提前进行饲料准备和定制生猪出栏计划。

6、零售行业依据客户消费纪录，借助于线上和线下数据的打通，为客户推荐喜欢的产品。

7、旅游景点和旅游局参考景区人流热度来引导客户游览路线，提升了游客浏览体验，降低了事故的发生。

5. 智能时代的到来

我们不再鼓吹大数据的魔力，我们提倡掌握智能数据，一种经过处理和分析，可以帮助企业实现商业价值的数据。智能数据来源于我们企业生产经营，也来源于行为数据等非结构化数据，还来源外部商业环境生产出来第三方数据。大数据时代提升了人们对数据价值的认识，智能数据帮助实现数据对商业的价值。

数据过去分散在企业的各个系统中，是企业流程中的副产品，企业主要利用数据进行 ROI 分析和财务分析。但即使是信息化程度较高的金融行业，也仅仅利用了不到 40% 的数据。大量数据的价值没有被发现，数据还没有被当作一种资产去管理和挖掘价值。数据的积累和人工智能的发展相辅相成。按照人工智能专家吴恩达(Andrew Ng)的说法，“数据是人工智能的燃料，如果只有很大的引擎(算法)而没有充足的数据作为燃料，人工智能这艘火箭是无法实现腾飞的”。同时人工智能带来更多的应用场景，比如聊天机器人和自动驾驶汽车，这些应用场景也在不断产生新的数据。现在，数据已经不仅仅只是“大”，它还变得更加“智能”，更加有用——我们已经进入智能数据时代!

 

数据、人工智能和人类智慧，成为智能数据时代的三大要素。数据的积累，可以为人类提供更多更细的洞察分析，人类经验得以增强，人类智慧得以增长。比如，通过更多来自于手机的用户行为分析，企业可以对自己的用户有更多了解，包括他们的生活喜好、消费习惯等，以此产生更多的营销的机会。并且人工智能本身也需要人类智慧的介入，以引导人工智能的方向，提高人工智能的效率。比如，AlphaGo 也需要不断的和人类围棋高手对战，依靠人类智慧的辅助，才能持续提升棋力。

6. 智能时代企业面临的挑战

智能数据时代之前，企业接触客户的方式都以线下为主，企业直接可以面对客户，从客户的反馈中了解产品需求，并利用大量客户调研数据来制定商业决策。智能数据时代，商业行为正在逐步向线上迁移，客户选择商品的决策时间在逐渐缩短，企业必须适应客户快速决策的方式，让产品营销适应客户的需求节奏。另外客户购买产品和服务时，除了考虑产品的性价比之外，还更加重视购买过程的用户体验，这都需要大量数据来帮助企业了解客户体验，提升客户满意度。

智能数据时代，客户和企业被各种数据包围着，客户数据、交易数据、社交数据、行为数据、传感器数据等等。数据之间具有较强的商业关联关系，同客户需求具有直接和间接的商业关系。复杂而海量的数据依靠传统的统计分析和数据挖掘，已经不能够在时间和效果两个方面来满足企业的商业需求，必须需要利用新的技术和新的平台来解决问题。

智能数据时代企业在数据和运营面临多种挑战，不仅包括数据思维的挑战，还有数据价值和数据场景的挑战。在数据的处理方式和技术，以及数据资产管理方面，企业都面临着现实和巨大的挑战。

1 )数据商业化思维的挑战

智能数据时代，商业发展非常迅速，企业必须在快节奏中找到自己的位置，加快决策。过去一个企业的产品从设计到推向市场需要三到六个月的周期，产品的生命周期大概为六个月，这样一年下来企业推出的新产品的节奏基本稳定在九个月左右。但是现在这种产品节奏无法适应竞争和客户的需要，新产品推出的周期要缩短到以周或天为单位，产品自身的生命周期也在不断地缩小。

例如，过去一双鞋子从设计到推向市场需要三个月，现在仅仅需要一星期。意大利某个展览会推出的鞋子款式，电商会在一个星期之内将产品生产出来，并直接发给客户。这背后的原因是商家的商业敏感度和商业思维，但是支撑这一切的商业行为发生的却是数据思维。从产品展示到客户需求，从产品模型到厂家生产，从产品量产到客户订单，所有这一切都必须需要严格的数据作为支撑，缺少任何一个环节或者任何一个数据差错都会导致这个商业行为的失败。智能数据时代，高速商业决策节奏的背后支撑的是数据商业化思维。

2 )数据资产管理和数据技术的挑战

在过去，数据只是商业活动中的副产品，并没有被认为是一种资产，企业没有将数据汇聚在一起，进行集中管理。数据资产这个概念是智能数据时代被重点提出的，特别是经济活动节奏越来越快，客户需求变化越来越快，数据对经济活动的反馈对商业决策影响越来越大。海量数据必须作为数据资产进行统一管理才能够帮助企业了解客户需求和企业经营情况，企业也可以从数据资产发现新的商业机会和营销场景。

多种数据源实时处理、数据之间打通、数据资产标识和管理、数据调用和逻辑组合等数据处理技术是一个巨大挑战。高效的数据处理技术为数据资产管理带来了可能，也为企业管理和应用这些数据带来了巨大的商业价值。金融行业中的花旗银行，其25%的零售银行收入来源于对数据资产的挖掘和应用。移动互联网企业，数据处理技术正在成为其业务经营的基础，亚马逊Amazon，其40%的业务收入来源于推荐引擎技术。

3)数据价值和数据应用的挑战

数据是对经济和用户需求的反馈，利用数据分析和数据挖掘可以帮助企业发现商业机会并实现数据价值。数据价值可以简单总结为：帮助企业提高效率降低成本、增加商业收入和指导商业决策。数据应用是数据价值的具体体现，智能数据时代的数据应用主要集中在客户分析、数字运营、精准营销、风险控制、智能决策等几个方面。

商业竞争的激烈让时间的价值凸显，很多产品决策和商业决策必须要在短时间内作出，否则将会失去市场先机，并有可能被竞争对手模仿、超越。数据对商业决策的影响力正在不断加强，数据支撑的商业决策分析对时间和准确度的要求越来越敏感。在这种情况下，智能数据时代对企业对要求越来越高，对数据处理技术、数据分析、数据决策要求也将越来越严格。

2017年大数据将进入智能数据时代

2017年随着人工智能的高速发展，大数据时代将进入到智能数据时代。数据既是一个金矿需要企业去挖掘价值，同时也是一个巨大的噪音，干扰着企业的商业分析和决策。智能时代，企业需要从包含噪音的海量数据中发现具有商业价值的智能数据，同业务深度结合，利用数据应用帮助企业实现智能决策。