比大数据还要可怕的是什么?没有数据

在一次互联网思维的学习讨论会上，大家当然讨论了大数据时代和大数据的思维，当然，大数据思维是互联网思维的特点之一。

“您每天敲击一次键盘，都会成为这个时代的大数据的一部分”。

这是“中国之声”的广告词。

“大数据”因互联网而成为这个时代的一个显著特征，并成功的赢取了时代金矿的美誉。数据的价值得到空前的重视，“谁掌握了数据，谁就掌握了未来”。“数据是重要的资产”。“数据只有开放互联才能成为大数据，才能发掘出价值”。当人们津津乐道大数据是如何成为时代的新宠时，似乎各行各业都离不开大数据了。

而事实上，大数据给我们到底带来了什么呢?我们究竟在大数据上获得了哪些利益呢?未来又能获得什么利益呢?尽管全球的IT精英都在绞尽脑汁的发掘和鼓吹大数据的价值，乃至国家政策也受此影响。但如果对上述问题没有得到清晰的答案，这样的影响多少存在逻辑上的盲目。

理智地思考：大数据为何产生?

因为有了计算机，才有数据。数据是计算机的食物和产物。

因为计算机爆发式的增长，导致作为其食物和产物的数据爆发式增长。

计算机的联网，自然带来其食物和产物的相互纠连。

计算机为什么要吃进数据和吐出数据?因为数据里面有我们人类需要的信息。

数据的纠连，背后是信息的关联。

即使在没有计算机的年代，信息的关联原本就存在，构成我们人类的信息世界。

那时的信息世界虽然运行缓慢，相互阻隔比较严重，但至少是清澈见底，让我们气定神闲的。

计算机在信息世界的出现，相当于蒸汽机在工业世界中的出现。

工业革命带来的是什么?产品生产效率的大幅提高和自然资源的快速消耗及生态环境的剧烈破坏，当然，还有科技的进步。

那么，信息革命带来的是?信息处理效率和范围不断提升和数据的快速膨胀，有谁想到过，和工业革命之对生态环境的剧烈破坏，信息革命对应的影响是什么?如果是破坏，破坏了什么?如果我们想都没想到过这个破坏确实可能存在，如果实际是存在的，会意味着什么?意味着人类在未觉醒的状态下，在拼命发展着一种对自己的某个世界可能带来巨大影响的技术。不像工业革命带来对自然环境的污染和破坏可以让人类直接得到相应的惩罚而觉醒。信息革命如果能带来破坏，则一定是对人类信息世界的生态环境的剧烈破坏。

信息革命可能如何来破坏人类信息世界的生态环境的呢?

在原来人类的信息世界的生态环境中，虽数据量不大，但数据的信息密度大。虽数据复制传输慢，但垃圾数据少。自从有了计算机，特别是有了互联网，数据对信息的吞噬是极其野蛮和不受约束的。数据量是很大，数据的类也很多，关联的范围也很广，但信息的密度却急剧下降。由于数据的传输和复制的速度急速提高，垃圾数据更是野蛮生长不受控制。这便是对大数据的来由的另一种看法。

确实，大数据的产生，给我们带来了在前所未有的宏观层次得到数据证实的信息，但是，这些信息，实际和人类凭直觉得到的信息也无太多的差别。相反，庞大的数据支撑下的“数据说话”的思维，让人类越来越丧失了宏观的直觉和思考的能力。

所以，大数据时代，实际是个什么时代?对这点的清醒认知，对把控人类技术发展的下一个时代确实非常重要。倘若迷糊，下一个时代是“大失控”时代，就不仅仅是科技作品中的预言了。

倘若我们清醒过来，认识到大数据的危害，我们则可能利用大数据带来的技术升级，反过来治理大数据的危害，正象我们在后工业革命时期所做的那样，环保和生态事业在新的技术支撑下，得以发展。

倘若我们做到了后者，那么，大数据时代的下一个时代，必然是个“大整合”的时代。

如今，我们已经进入移动互联网时代，大数据扑面而来。对于京东来说，大数据到底都能够起到哪些作用?5月26日，老冀在贵阳大数据博览会上见到了京东大数据部副总经理邢志峰，也就是京东研发部门内部俗称的“邢捕头”，向他请教了一下京东大数据的一些问题。

邢捕头算是京东大数据的资深员工了，他在2009年就加入了京东，一直在京东数据部门。当时《武林外传》挺火的，同事们看他做事认真，于是给他起了个电视剧里面角色的外号。

　　(图：京东大数据部副总经理邢志峰)

分分合合的大数据路线

京东大数据说来话长，实际上，它经历了一个分分合合的过程。

2009年7月的时候，邢捕头的心情可没有现在轻松。那个时候，快速增长的业务带来了海量的数据需求，业务部门扔过来大量的数据，几乎天天到他那里来“讨账”。于是京东数据部在2009年底正式成立。

到了2010年下半年，数据部依照服务职能对象的不同拆分为两个团队，其中一个主要面向采销、市场等部门，另一个数据团队则为仓储、物流等部门提供服务。

巧合的是，这两支团队也选择了不同的技术路线。一个选择了基于开源的MySQL自建数据仓库，自主开发配套的数据调度生产、数据分析提取、数据知识管理、数据报表呈现及数据质量监控的产品体系，并建设相应的数据集市与业务部门联合推广使用。

另一个数据团队选择了购买ORACLE RAC小型机/ORACLE BIEE商业智能平台，数据处理效率也得到了明显提高。

但是随着京东业务的不断扩张和高速增长，商业软件的局限性就日益显露出来了，主要表现在两个方面：

一个是维护成本高，商业软件此后的每一次升级都要请原厂的专家上门，这个服务费可是相当的高。

另一个更重要的则是快速响应能力。电商行业变化非常快，几乎每天业务部门都要做一些策略调整，比如增加某些品类，砍掉另一些品类，而商业软件都是模块化的，并没有那么强的灵活性，响应速度根本跟不上业务的发展。实际上，我们看到一些使用了商业软件的电商在这个方面吃亏不小。

到了2012年年初，为了更好地应对业务的快速增长，京东数据部又合在了一起，并且确定了基于Hadoop的分布式开源技术架构，原来的SQL Server和ORACLE数据仓库均退出了历史舞台。在Hadoop的基础上，京东开发出了JDW企业级数据仓库，目前集群的总存储量已经达到了 50PB以上，是名副其实的大数据。

　　更加真实有效的大数据

在贵阳大数据博览会上，出任京东集团高级副总裁及京东研发体系负责人的张晨表示：“京东全品类、全价值链的电商数据在行业内具有稀缺性，它使得京东大数据在数据、模型、技术、工具等多个层面高度的整合和统一，大大提升了大数据在整个集团内融合和利用的效率，促进大数据的深度价值挖掘。”

简单来讲，京东大数据的优势得益于京东电商业务的全价值链数据。由于京东的主要业务是自营式电商，而且要求端到端的流程控制，使得京东的大数据覆盖了电商的全部流程，从采购、库房、销售、配送到售后、客服，整个链条是完整的。

“数据不仅仅大才有价值，如果不完整或者只是局限于某个点的话，价值就小了。京东的数据很完整，量又很大，这个数据就很值钱。”邢捕头认为。

而且由于京东对商品交易过程实行严格的管控，在京东平台上进行代购和刷单的行为都是不允许的，这也使得京东的用户数据更加接近真实用户的真实需求。

有了真实有效的大数据，京东就可以做很多的事情，比如精准营销、用户画像、C2B定制，等等。

以老冀为例，比如老冀想在京东上买本《从零到一》，结果正好这本书脱销，老冀于是点击了一下“到货提醒”。过了几天，老冀收到一封邮件，告诉老冀这本书已经到货了，并且还推荐了《奇点临近》、《创业者的思考》，老冀发现这两本也是自己想要的书，于是照单全收。

不过，老冀感觉京东每次登陆的主页面还是非常庞杂，似乎不如美国亚马逊那么简洁、个性化和有针对性。邢捕头坦诚，目前京东在A/B 测试方面还不如亚马逊成熟。所谓A/B 测试，就是先建立一个测试页面，这个页面在呈现逻辑和内容上与原有页面有所不同，然后将这两个页面以随机的方式同时推送给所有浏览用户，接下来分别统计两个页面的用户转化率，即可了解到两种策略的优劣。还有一个也是跟中国网民的购物习惯相关：大部分美国网民购物非常直接，而中国网民则喜欢那种“逛”的感觉。

大数据还有个很大的作用，就是用户画像。前面老冀谈到京东有个很独特的优势，就是数据更加真实可靠。而且经过了十多年的发展，京东的商品品类也已经非常丰富，目前已经有接近1亿SKU。很多商品本身就会有用户特征，比如女士的胸罩和内衣，男士的刮胡刀，等等。京东根据这些购买行为给用户打上标签，直至勾画出一幅清晰的用户画像。

有了用户画像，京东就可以做很多事情了。举个例子，根据用户在下单前的浏览情况，京东就可以了解用户的购物性格是冲动型、理性型还是犹豫型。对于冲动型用户，京东直接推荐给Ta最畅销的同类商品，而理性型用户则推荐给Ta口碑最好的商品。

京东还将用户画像数据提供给网站智能机器人JIMI，使得JIMI能够快速理解用户意图、从而对用户进行个性化关怀，从而大幅度提升用户的满意度。

而随着2014年京东收购了腾讯的实物电商部门，并将其数据整合进来，京东大数据的准确性又得到了提升。此外，京东的大数据还能够与腾讯的QQ/微信大数据结合起来，从而开展更有针对性的营销活动。从过去一段时间双方的联合推广来看，大数据功不可没。

帮助业务部门决策

其实，大数据还能够做更多的事情。对于邢捕头所在的部门来说，最重要的还是帮助业务部门更好地决策。

比如目前市面上有那么多款手机，京东手机采销部门到底应该采购哪一款手机?就可以根据京东大数据参考决策。如今，京东更深入了一步，在2013年推出了JDPhone计划，与手机厂商一起打造用户喜欢的手机。

举个例子：京东大数据显示，近半年来在京东购买过两次以上手机的用户，其中34%都选择了更大屏幕，但是5.5寸是他们接受的极限，因此建议手机厂商选择4.8-5.5寸屏幕作为最优尺寸。最近这几年，正是基于大数据的威力，JDPhone计划先后与中兴、华为等手机制造企业合作，推出了目前市场上很多畅销的机型

“我们的数据能够帮助业务人员做决策和判断，能够利用很多统计方式展现报表，以更加形象、实时和统一的方式提供给他们，通过业务应用服务于我们的消费者。”邢捕头对于自己的工作感到非常自豪。

2011年11月，京东准备对快递包裹收费。那么，当用户的订单金额到了多少才能够不收费呢?为此，京东大数据部门模拟了一个场景，分别按照用户订单免运费下限为19元、29元到89元之后，对京东的整体毛利情况做了一个详细的测算，然后找到了比较合理的价格区间，将报告提交给了公司高层，对于配送费的合理制定起到了很好的辅助决策作用。

如今，对于京东高达上亿的SKU，单是补货就是个大问题，如果只是依靠人工补货根本就忙不过来。京东供应链研发团队自主开发了一套补货系统，项目上线之后，给图书部门的采购补货工作带来了极大的便利。面对超过百万而且不断增长的SKU，图书业务部门的采购人员并没有显著增加

此外，京东还将自己的大数据拿出来，与复旦大学联合推出了复旦-京东信息消费指数，包括消费者行为与信心指数、电子商务行业景气度指数、电子商务便利度指数三大子指数，共同构成了一个完善的指标体系，综合反映了当前信息经济消费情况，能够为政府政策、行业发展、消费者行为模式等提供重要的参考价值。这也是目前我国首个用于评估电子商务、“互联网+”等信息要素集聚程度以及绩效表现的综合性指数。

当有太多数据需要处理的时候，你可能会为此抓狂，而旧金山警局却对此求之不得。原来，没有更多的可利用数据才是巨大的挑战。

怎么才能从多结构和非结构化的数据源中提取并整合数据?对一些机构来说，这是一个艰巨的挑战;对另一些人却刚好相反，他们正经历着巧妇难为无米之炊的困境。从他们的角度来看，没有更多的可利用数据才是巨大的挑战。这不禁让人联想起在东部的波士顿白雪皑皑，寸步难行的时候，西部的旧金山却是旱情绵绵。

这个再恰当不过的比喻，是受到了一次谈话的启发。旧金山郡警督Ross Mirkarimi和他们IT组成员Dave　Hardy跟我聊起他们现在怎么处理相关数据。在旧金山警局，现在处于一个吃力不讨好的境地，他们试图将大量的结构化数据汇集在一起。这可不是一件轻而易举的事情：Hardy使用Microstrategy的商务智能工具尝试着从多种结构化数据库中收集数据。这些工具包括FoxPro, Access, Filemaker Pro等。

既然旧金山警局有大量的结构化数据需要处理，那么所谓的数据旱情又是怎么来得?他们没有非结构化的数据。他们希望自己能像其它公司一样，拥有需要整合的非结构数据。 “我喜欢科技”，Hardy说。他曾是一名巡逻警员，目前已成为信息技术支持与服务部的指挥官。他还说：“这是一件好事，创新和自动化让一线同事的工作更容易。我喜欢利用数据做一些重要的举措。”

但 Mirkarimi，这位前旧金山城市监察员，却哀叹可供执法使用的数据就跟加州的雨一样少得可怜。“执法需要更多警力来应对犯罪威胁” ，他说，在现实中，我们希望对犯人的问责是由数据决定的。与其让一个活生生的人像接力棒一样在警察、公设辩护人办公室(美政府对无钱聘请律师的被告指聘的律师)、缓刑与假释部门间传递，我们不如放弃成见，共享数据。这样，使我们在判断个人是否守法时，能够更清晰的了解他的倾向性，个人历史并预测他的个人行为。

州政府计划削减已超载的州监狱人数，并将犯人送返至各个郡下设的监狱。因此，旧金山警局被要求做一项他们从来没做过的分析项目(旧金山是一个罕见的行政实体，在编制上，它即是一个市又是一个郡)。即使没有结构化数据，Mirkarimi 依然声称，累犯人数已经从60%以上下降到差不多40%，然而州政府的标准是接近78%。

旧金山警局还想做更多，但是它无能为力。必须得承认，手头只有结构化数据确实是其中的问题之一。Hardy说，能整合的只有“小数据”，这些小数据是人们在通过系统时生成的，像是地址、量刑、指纹;他们在监狱里参与了哪种治疗或是教育项目;他们是否再次因罪获捕，如果是，那又是为什么?所有的这一切都在一个SQL结构化数据库里。可是为了能够达到目的，Hardy和Mirkarimi需要更多。

旧金山警局罪案调查处署已经开始追踪社交网络，及时识别“热点事件”，但是在追踪和分析整合数据之间，还有很大的距离(Microstrategy有分析社交网络的工具，但是旧金山警局没有用)。 Hardy设想，建立一个网络来联系所有的政府部门，从警长办公室到健康卫生部门甚至延伸到学校社区。“我的设想是，在不侵犯隐私的情况下，我们能够进入这些部门的数据库收集所需数据，并与我们现有的数据相比较。想想看，我们是否可以识别某个学校或是某个居住区的某个群体是否有更大的可能性在他们22岁之前被逮捕? ”Hardy还想进入联邦数据库去看看囚犯是否是退伍军人，是否有资格享受美国政府的一些特设项目。

为了能采取积极措施，Mirkarimi特别注重分析监禁过程对囚犯子女的影响。“最终，当你可以将这些完全不同的数据源结合起来，它能帮助我们了解那些坐在拘押室里的人。” 他的目标很明确：真正改变旧金山，为过度拥挤的监狱减负，通过了解对家庭的影响，“为犯人的家庭与子女带来更积极的帮助”。他同意收集和分析如此之多的数据，有点像奥威尔的小说《1984》中所描写的监视社会。尽管如此，就目前的情况来看，这种方法是有实际意义的。我们将不得不摸着石头过河。

“刑事司法机构也很难人性化与系统内部监禁人员的关系”，Mirkarimi说。“数据越周详，我们越能人性化的调整监禁对当事人以及他们的家人的影响。我宁愿站着数人头，也不愿坐着做统计。这就是我们如何能使这套系统更有效。”

固然，这是个大挑战。让这个挑战变得更为艰巨的，是目前旧金山警局还无法获得他们所需要得到有效数据。请记住!当有太多数据需要处理的时候，你可能会为此抓狂，而旧金山警局却对此求之不得。