大数据时代:数据和算法,谁更重要?
我知道很多人自始至终都认为数据是越多越好,即大数据越大越好,Google甚至直言:更多的数据胜过更好的算法,而过去很多侦探剧中崇尚“信息越多,就越靠近真相”的刑侦金句也似乎佐证这一点。
而事实上,我的观点是,数据只是基础,如何建构起有效的算法、模型比数据本身更重要,最起码对目前而言是这样的。持与我相近观点的大有人在,如《The Signal and the Noise》(信号与噪声,作者Nate Silver)这本书里面的一个观点是“更多的数据意味着更多的噪声。信号是真相,噪声却使我们离真相越来越远。”
每种观点都有自己的理据,所以我们不能片面地去判断说哪种观点对与错。就大数据这个事情而言,我认为Google是一个理想主义者,而Nate Silver则是一个实用现实主义者。
理想中的大数据的终极形态是不用构建模型,或者说已经构建了全模型,不用针对每次分析的目的去单独建模,数据自身会从数据特性,规律去进行逻辑性分析(非数理分析),人们只需要将所有数据输入,机器就能告诉人们这些数据中,哪些数据说明了什么问题,大数据的输出成果将不是一份报告,而是一个体系,没有一份报告能容纳如此多的结果。到了那个时候,确实是更多的数据胜过更好的算法,因为那时候已经没有了算法,没有什么是不能计算的。
但现实是,我们目前的大数据离理想中的大数据形态还有很远的距离。
我们先看一个通过数据分析来辅助营销的例子。你要推广一个旅游产品,比如说是一个旅游攻略的APP,你第一反应肯定是去旅行社、户外网站去收集数据,去展开宣传,去铺开销售吧?这当然对,但问题是,经常旅游的人很可能已经不需要你旅游产品的指导,他们有更多的出游经验,他们有更多的团队合作,他们可能更倾向个体出行。而不经常出没在户外网站的人,不经常搜索旅游相关信息的人,他们心中对旅行的渴望也许是很强烈的。从数据的维度来看,从旅行社、户外网站收集到的客户信息当然是比大众市场上得到的客户信息的维度要多,颗粒度要细,信息更非结构化,更称得上“大数据”,但显然,通过这些更大的数据却未必能支撑你找到更多有需求的客户。当然,你也许会说在强关联的小圈子里找到客户的单位成本远比漫无边界地挖掘客户的单位成本要低。但我只是用这个例子去说明,更多的信息未必能指向更明确结果,如何建构一个合理的模型(利用有限的数据去做最有效的分析),远比找到一个新的数据源要重要得多。
目前的大数据与理想中的大数据形态的距离并不在于数据源的多少上,数据源从来不是问题,问题是在于我们如何去建构一个科学合理的分析模型,并相信、坚持分析模式的输出结果。通过不断地修正、累积各种正确的分析模型,我们将不断接近理想形态。
而很不幸的是,有时候现实与之背道而驰。
分析员总是习惯带着预设去分析,他们会自觉不自觉地以对自己有利的方式对这些数据进行分析和解释,而哪怕这些方式很可能与这些数据所代表的客观现实不相吻合。出于各种原因,分析员很难从干扰他们的噪声中分辨出有用的信号,甚至会无视这些真实有用的信号。于是,数据展示给他们的通常都是他们想要的结果,而且他们通常也能确保这些数据令大家皆大欢喜。同时,我们天真的相信各种预测分析模型,却没有人认真地去验证这些模型是否科学合理,是否与事实相符,也许这些模型在进行架设选择时根本不堪一击。
我对此感同身受。我曾经为不同省份的移动公司做过各种形式的经分,给我最大的感受就是,我们不是要用数据去发现问题,找到解决问题的方法,而是我们要用数据去支持领导的观点,一旦结果与领导观点相悖时,模型是可以调整,数据可以调整,口径可以调整,只有领导的观点不能动,不能变。具体的过程是,刚开始时我们通过经验建构了分析模型,模型只需要三组数据,但很不幸无法支撑领导的观点,进而增加到五组,依然无法得出想要的结论,进而想方设法增加到十组,并开始调用不同的分析模型,费尽九牛二虎之力,终于在用某模式导入XXYY数据时,出来的结果刚好与领导的观点一致,好吧,终于天亮了,终于可以定稿了,终于可以各自回家睡觉了。一觉醒来后开始宣扬,我们充分调用了N多的数据,并创新性地使用了X模型,得出某某结论,与领导观点不谋而合。
这就是分析员的困境,而这种困境是目前分析工作的常态,也许压力不是来自于领导,但也有可能来自于市场的压力,个人绩效的压力,时间精力的有限,经验和知识的匮乏,甚至是内心无法言明的情绪等。
这个世界自从有了印刷机,信息的传递不再局限,信息变得不再那么稀有,后来有了互联网,信息开始爆炸式增长,我们拥有的信息太多,甚至多到无从下手,但事实上是有用的信息寥寥无几。没有科学、经过验证的模型支持,我们往往主观地、有选择的看待信息,对信息的曲解却关注不够,于是,当我们把越来越多的信息塞进越来越臃肿的模型,我们以为我们将看到更多真相,而事实是很多只是假相。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据分析在当今信息时代发挥着重要作用。单因素方差分析(One-Way ANOVA)是一种关键的统计方法,用于比较三个或更多独立样本组 ...
2025-04-25CDA持证人简介: 居瑜 ,CDA一级持证人国企财务经理,13年财务管理运营经验,在数据分析就业和实践经验方面有着丰富的积累和经 ...
2025-04-25在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03