理念快于应用 大数据呼唤突破性创新

工业和信息化部电信研究院日前发布2014年大数据白皮书指出，大数据在推动经济发展、改善公共服务，乃至保障国家安全方面意义重大。目前中国的大数据利用仍处于“小农经济”阶段，为加速推进大数据利用，中国应该在促进前沿技术创新与扩散、开放政府和公共数据资源、保护数据安全与个人隐私等方面有进一步的举措。 大数据利用仍处于发展初期 全球的大数据应用处于发展初期，中国大数据应用才刚刚起步。从数据源看，大数据的应用还处于自给自足的“小农经济”时代。 全球的大数据应用处于发展初期，中国大数据应用才刚刚起步。目前，大数据应用在各行各业的发展呈现“阶梯式”格局：互联网行业是大数据应用的领跑者，金融、零售、电信、公共管理、医疗卫生等领域积极尝试大数据。 

当前大数据还未形成普遍应用的局面，对大多数企业，特别是传统领域的企业而言，还未找到有效的应用模式，总体上看呈现以下几个方面的特点： 首先，理念的应用快于数据的应用。对大数据的广泛讨论，使人们普遍认识到，数据是有价值的，人们可以通过各种方法和技术，对数据进行分析和挖掘，从中获得对我们生产生活有利的信息和知识；任何数据都可能是有价值的，关键是看谁使用它、怎么使用它；简而言之，数据是资产。这一轮大数据浪潮，使得大数据理念迅速普及，尽管很多数据尚没有找到合适的用途，但很多公司已经将其作为资产，对其数据进行规划、存储，或自行对其开发，或者积极寻找买家或者合作者来对其进行开发。电信运营商最有可能成为典型的数据资产运营者。

电信运营商掌握丰富的用户身份数据、语音数据、视频数据、流量数据和位置数据，数据的海量性、多元性和实时性使其具有经营大数据的先天优势，目前主要的电信运营商都已积极探索开发其内部大数据资源。但从目前的应用发展看，电信运营商的大数据仍主要用于支持内部的客户流失分析、营销分析和网络优化分析等，对外的应用模式尚未成型。 其次，大数据应用呈散发状，并没有形成燎原之势，目前主要集中于互联网的市场营销场景。尽管金融、电信、零售、制造、医疗、交通、物流、IT等行业对大数据应用表现出极大热情，但目前在媒体和各种论坛上所公开的大数据应用案例仍然非常零散，这表明大家虽然都很关注大数据，但推进实际的应用仍然存在一定的困难。众多企业都推出或者采纳大数据应用的领域是基于互联网的市场营销，在这一领域应用了大数据的公司不仅包括大型的互联网公司、众多专业性的中小型互联网公司，线下企业也在与互联网公司合作，积极开发这一领域的价值。 从数据源看，大数据的应用还处于自给自足的“小农经济”时代，现有的应用仍然以机构内部数据为主。

以机构内部数据为主的主要原因是数据的开放和交易尚未形成市场的主流形态。以国内主要的电子商务交易平台为例，目前推出了很多大数据应用，但这些应用基本都是为内部服务的，由于法律和数据交易机制的不健全，这些交易平台在对外开放和交易数据上仍然持谨慎态度。Gartner的一项调查显示，即使在全球，以内部数据为主仍然是大数据应用的主要特征，各行业应用最多的仍然是企业内部的交易数据（应用比例普遍超过50%，多数行业应用比例超过80%）和日志数据。 从技术角度看，大数据仍以初级应用为主，多数应用仍然使用传统分析流程和工具，只是扩大了数据的来源、增加了数量。调研发现，与传统数据分析相比，新的大数据应用虽然开始使用非结构化数据，但在实际应用过程中，这些非结构化数据只是被压缩、清洗和结构化后，放入传统的ETL和分析流程中去。另一些大数据应用通过采用云存储和云处理技术，提高了数据处理效率，从而增加了数据处理的规模，但这些应用也仍然采用原有的ETL和分析流程。缺乏应用模式上的创新，使得目前大数据应用仍停留在初级技术阶段。 

从应用效果看，目前的大数据应用以延续改善现有业务和产品为主，突破性创新应用尚不多见。以最常见的互联网营销大数据应用为例，在大数据兴起之前，精准营销和个性化推荐一直是企业营销活动的追求方向，新兴数据源和大数据技术的兴起使得企业进一步改善其营销技能，使其精准营销能力进一步增强，这是对企业旧有营销能力的改善。

目前大家议论比较多的突破性创新如网上小贷业务，这项业务完全改变了过去金融机构贷款的流程、信用评价和控制风险的方式，从而极大地降低了贷款的成本、扩大了贷款的范围。但目前这样的突破性创新并不多见。Gartner的调查显示，企业投资大数据的主要目的在于改善客户服务、流程优化、精准营销和削减成本等，而新产品/新商业模式这种突破性创新的方向并不是企业的主要目的。 大数据产业生态加速构建 大数据产业生态中主要包括大数据解决方案提供商、大数据处理服务提供商和数据资源提供商三个角色。 随着大数据技术不断演进和应用持续深化，以数据为核心的大数据产业生态正在加速构建。

从实践情况看，大数据产业生态中主要包括大数据解决方案提供商、大数据处理服务提供商和数据资源提供商三个角色，分别向大数据的应用者提供大数据服务、解决方案和数据资源。当前大数据产业还处于构建的初期，呈现规模很小、增速快的特点，据Wikibon公司的报告，2013 年全球大数据市场总体规模为181亿美元，年度增幅达61%，预计到 2017年还将维持30%的年增速。 传统IT厂商加快向大数据方案提供商转型。大数据解决方案提供商面向企业用户提供大数据一站式部署方案，覆盖数据中心和服务器等硬件、数据存储和数据库等基础软件、大数据分析应用软件以及技术运维支持等方面内容。其中，大数据基础软件和应用软件是大数据解决方案中的重点内容。

当前，企业提供的大数据解决方案大多基于Hadoop开源项目。例如，IBM基于Hadoop开发的大数据分析产品BigInsights、甲骨文融合了Hadoop开源技术的大数据一体机、Cloudera的Hadoop商业版等。 在大数据解决方案提供商中，主要包括传统IT厂商和新兴的大数据创业公司。传统IT厂商主要有IBM、HP等解决方案提供商以及甲骨文、Teradata等数据分析软件商。它们大多以原有IT解决方案为基础，融合Hadoop，形成融合了结构化和非结构化两条体系的“双栈”方案。通过一系列收购来提升大数据解决方案服务能力，成为这些IT巨头的主要策略。 国际上也诞生了一批专门提供非结构化数据处理方案的新兴创业公司。这些公司包括Cloudera、Hortonworks、MapR等，它们主要基于Hadoop开源项目，开发Hadoop商业版本和基于Hadoop的大数据分析工具，单独或者与传统IT厂商合作提供企业级大数据解决方案。这些新兴大数据企业成为资本市场的热点。

 国内华为、联想、浪潮、曙光等一批IT厂商也都纷纷推出大数据解决方案。但总体上，国内大数据解决方案提供商实力较弱，产品在一些关键行业还未形成影响力，新兴大数据解决方案初创企业也凤毛麟角。 云服务商成为数据处理主体 云服务商的服务方式与技术路线决定了它必然会成为大数据处理服务提供商的主体，共有四类大数据处理提供商。 大数据处理服务提供商主要以服务的方式为企业和个人用户提供大数据海量数据分析能力和大数据价值挖掘服务。按照服务模式进行划分，大数据处理服务提供商可以分为以下四类。 第一类是在线纯分析服务提供商。此类服务商主要是互联网企业、大数据分析软件商和新创企业等，通过SaaS或PaaS云服务形式为用户提供服务。

 第二类是既提供数据又提供分析服务的在线提供商。此类服务商主要是拥有海量用户数据的大型互联网企业，主要以SaaS形式为用户提供大数据服务，服务背后以自有大数据资源为支撑。 第三类是单纯提供离线分析服务的提供商。此类服务商主要为企业提供专业、定制化的大数据咨询服务和技术支持，主要集中为大数据咨询公司、软件商等，例如专注于大数据分析的奥浦诺管理咨询公司（Opera Solutions）、数据分析服务提供商美优管理顾问公司（Mu Sigma）等。 第四类是既提供数据又提供离线分析服务的提供商。此类服务商主要集中在信息化水平较高、数据较为丰富的传统行业。例如日本日立集团（Hitachi）于2013年6月初成立的日立创新分析全球中心，其广泛收集汽车行驶记录、零售业购买动向、患者医疗数据、矿山维护数据和资源价格动向等庞大数据信息，并基于收集的海量信息开展大数据分析业务。又如美国征信机构Equifax基于全球8000亿条企业和消费者行为数据，提供70余项面向金融的大数据分析离线服务。 

大数据资源提供商应运而生 既然数据成为了重要的资源和生产要素，必然会产生供应与流通需求，数据资源提供商因此应运而生。 既然数据成为了重要的资源和生产要素，必然会产生供应与流通需求。数据资源提供商因此应运而生，它是大数据产业的特有环节，也是大数据资源化的必然产物。数据资源提供商，包括数据拥有者和数据流通平台两个主要类型。 数据拥有者可以是企业、公共机构或者个人。数据拥有者通常直接以免费或有偿的方式为其它有需求的企业和用户提供原数据或者处理过的数据。阿里巴巴公司推出的淘宝量子恒道、数据魔方和阿里数据超市等，属于此种类型。 数据流通平台是多家数据拥有者和数据需求方进行数据交换流通的场所。按平台服务目的不同，可分为政府数据开放平台和数据交易市场。 政府数据开放平台，主要提供政府和公共机构的非涉密数据开放服务，属于公益性质。

目前全球不少国家已加入开放政府数据行动中，推出公共数据库开放网站，例如美国数据开放网站Data.gov目前已有超过37万个数据集、1209个数据工具、309个网页应用和137个移动应用，数据源来自171个机构。国内地方政府数据开放平台开始出现，如国家统计局的国家数据网站、北京市政府和上海市政府的信息资源平台等数据开放平台正在建设过程中。 数据交易市场，商业化的数据交易活动催生了多方参与的第三方数据交易市场。国际上目前比较有影响力的有微软的Azure Data Marketplace、被甲骨文收购的 BlueKai、DataMarket、Factual、Infochimps、DataSift 等等，主要提供地理空间、营销数据和社交数据的交易服务。

大数据交易市场发展刚刚起步，在市场机制、交易规则、定价机制、转售控制和隐私保护等方面还有很多工作要做。国内，2014 年2月，在北京市和中关村管委会指导下，中关村大数据交易产业联盟成立，将在国内推动大数据交易相关规范化方面开展工作。 缺乏数据源、技术水平低仍是挑战 目前我国的大数据已有数据资源还存在标准化、准确性、完整性低，利用价值不高的情况。 应该认识到，大数据在全球的发展还都处于初期，技术、制度、观念等方面都需要改变。对我国来说，数据资源不丰富、技术差距大和法律法规不完善是当前大数据发展面临的主要问题。 一是我国数据源不够丰富，数据开放程度较低。丰富的高质量数据资源是大数据产业发展的前提。近几年在互联网产业及金融、电信信息化快速发展的带动下，我国数据资源总量有了快速增长，已达到全球的13%，但其他行业受信息化水平制约，数据储量仍不丰富。已有数据资源还存在标准化、准确性、完整性低，利用价值不高的情况。

同时，我国政府、企业和行业在信息化系统建设中受到各种因素制约，形成了众多“信息孤岛”，数据开放程度严重滞后。建立良性发展的数据资源储备与共享体系，是我国大数据发展的首要问题。 二是我国大数据技术存在水平不高、技术扩散不畅的问题。我国大数据技术的发展模式也与全球类似，互联网企业具备快速将国际先进的开源大数据技术整合到自身系统中的能力，并构建了单集群上万节点的大型系统，但仍缺乏原创技术，对开源社区的贡献不足，进而对前沿技术路线的影响比较微弱。

同时，由于本土开源社区等产业组织发育滞后，国内领先企业在大数据方面的技术创新也难以向社会扩散。 三是大数据相关的法律法规有待进一步完善。随着大数据挖掘分析将越来越精准、应用领域不断扩展，个人隐私保护和数据安全变得非常紧迫。在隐私保护方面，现有的法律体系面临着两个方面的挑战：一是法律保护的个人隐私主要体现为“个人可识别信息（PII，Personally identifiable information）”，但随着技术的推进，以往并非PII的数据也可能会成为PII，使得保护范围变得模糊。二是以往建立在“目的明确、事先同意、使用限制”等原则之上的个人信息保护制度，在大数据场景下变得越来越难以操作。而我国个人信息保护、数据跨境流动等方面的法律法规尚不健全，这成为制约大数据产业健康发展的重要原因之一。

需要结合我国法治建设的实际情况，探索通过行业自律等方式弥补法律体系不完善的弊端。 应对策略 统筹规划 技术与应用避免一哄而上 在总体思路上，需要首先明确我国大数据发展的战略目标和战略重点，统筹谋划大数据应用、关键技术研发与产业培育、数据开放与数据保护、市场监管、法律法规等关键布局，引导国内各地大数据发展方向，避免一哄而上的盲目发展。 在大数据应用上，一是政务和公共服务领域的应用，重点面向改善民生服务和城市治理等方面，积极推动环保、医疗、教育、交通等关键领域的大数据整合与集成应用，进一步提高政务和公共服务效率。

二是市场化应用方面，重点在跨行业的大数据应用方面出台推动政策，促进互联网、电信、金融等企业与其他行业开展大数据融合与应用创新，带动全社会大数据应用不断深化。 在技术创新上，一是要加强大数据技术研发方向的前瞻性和系统性，近期重点支持深度学习与人工智能、实时大数据处理、海量数据存储管理、交互式数据可视化和应用相关的分析技术。二是要聚集产学研用力量形成合力，力争在大数据平台级软件上实现突破，以此为核心发展开源生态。三是创新科研项目支持方式，将开源和开放标准作为考核指标，通过直接补助或后补助方式激励企业和科研机构参与开源技术发展，促进大数据技术扩散。 在政府数据开放上，建议推进政府和公用事业领域数据资源的普查工作，并按照相关法规制定政府和公共数据开放中的安全和隐私保护检查表，对可能涉及国家安全和公民隐私的风险点进行严格控制。在此基础上，按敏感性对政府和公共数据进行分类，确定开放优先级，制定分步骤的数据开放路线图。同时，政府也应积极规范和引导商业化的大数据交易活动，为数据资源的流通创造有利条件。

 在个人信息保护上，国际上一些机构提出，为了释放大数据潜力，监管的重点应该“从数据收集环节，转移到数据使用环节”。我们要密切关注国际上立法理念的演变趋势，结合技术发展趋势和我国国情对相关制度进行前瞻性研究。

同时，为了解决当前个人信息和数据保护的紧迫需求，可依托行业组织及时总结业界的最佳实践，逐步形成行业共识，在试点成熟后上升为标准或法律法规并推动实施，为大数据的健康发展保驾护航。