大数据时代:数据和算法,谁更重要?
我知道很多人自始至终都认为数据是越多越好,即大数据越大越好,Google甚至直言:更多的数据胜过更好的算法,而过去很多侦探剧中崇尚“信息越多,就越靠近真相”的刑侦金句也似乎佐证这一点。
而事实上,我的观点是,数据只是基础,如何建构起有效的算法、模型比数据本身更重要,最起码对目前而言是这样的。持与我相近观点的大有人在,如《The Signal and the Noise》(信号与噪声,作者Nate Silver)这本书里面的一个观点是“更多的数据意味着更多的噪声。信号是真相,噪声却使我们离真相越来越远。”
每种观点都有自己的理据,所以我们不能片面地去判断说哪种观点对与错。就大数据这个事情而言,我认为Google是一个理想主义者,而Nate Silver则是一个实用现实主义者。
理想中的大数据的终极形态是不用构建模型,或者说已经构建了全模型,不用针对每次分析的目的去单独建模,数据自身会从数据特性,规律去进行逻辑性分析(非数理分析),人们只需要将所有数据输入,机器就能告诉人们这些数据中,哪些数据说明了什么问题,大数据的输出成果将不是一份报告,而是一个体系,没有一份报告能容纳如此多的结果。到了那个时候,确实是更多的数据胜过更好的算法,因为那时候已经没有了算法,没有什么是不能计算的。
但现实是,我们目前的大数据离理想中的大数据形态还有很远的距离。
我们先看一个通过数据分析来辅助营销的例子。你要推广一个旅游产品,比如说是一个旅游攻略的APP,你第一反应肯定是去旅行社、户外网站去收集数据,去展开宣传,去铺开销售吧?这当然对,但问题是,经常旅游的人很可能已经不需要你旅游产品的指导,他们有更多的出游经验,他们有更多的团队合作,他们可能更倾向个体出行。而不经常出没在户外网站的人,不经常搜索旅游相关信息的人,他们心中对旅行的渴望也许是很强烈的。从数据的维度来看,从旅行社、户外网站收集到的客户信息当然是比大众市场上得到的客户信息的维度要多,颗粒度要细,信息更非结构化,更称得上“大数据”,但显然,通过这些更大的数据却未必能支撑你找到更多有需求的客户。当然,你也许会说在强关联的小圈子里找到客户的单位成本远比漫无边界地挖掘客户的单位成本要低。但我只是用这个例子去说明,更多的信息未必能指向更明确结果,如何建构一个合理的模型(利用有限的数据去做最有效的分析),远比找到一个新的数据源要重要得多。
目前的大数据与理想中的大数据形态的距离并不在于数据源的多少上,数据源从来不是问题,问题是在于我们如何去建构一个科学合理的分析模型,并相信、坚持分析模式的输出结果。通过不断地修正、累积各种正确的分析模型,我们将不断接近理想形态。
而很不幸的是,有时候现实与之背道而驰。
分析员总是习惯带着预设去分析,他们会自觉不自觉地以对自己有利的方式对这些数据进行分析和解释,而哪怕这些方式很可能与这些数据所代表的客观现实不相吻合。出于各种原因,分析员很难从干扰他们的噪声中分辨出有用的信号,甚至会无视这些真实有用的信号。于是,数据展示给他们的通常都是他们想要的结果,而且他们通常也能确保这些数据令大家皆大欢喜。同时,我们天真的相信各种预测分析模型,却没有人认真地去验证这些模型是否科学合理,是否与事实相符,也许这些模型在进行架设选择时根本不堪一击。
我对此感同身受。我曾经为不同省份的移动公司做过各种形式的经分,给我最大的感受就是,我们不是要用数据去发现问题,找到解决问题的方法,而是我们要用数据去支持领导的观点,一旦结果与领导观点相悖时,模型是可以调整,数据可以调整,口径可以调整,只有领导的观点不能动,不能变。具体的过程是,刚开始时我们通过经验建构了分析模型,模型只需要三组数据,但很不幸无法支撑领导的观点,进而增加到五组,依然无法得出想要的结论,进而想方设法增加到十组,并开始调用不同的分析模型,费尽九牛二虎之力,终于在用某模式导入XXYY数据时,出来的结果刚好与领导的观点一致,好吧,终于天亮了,终于可以定稿了,终于可以各自回家睡觉了。一觉醒来后开始宣扬,我们充分调用了N多的数据,并创新性地使用了X模型,得出某某结论,与领导观点不谋而合。
这就是分析员的困境,而这种困境是目前分析工作的常态,也许压力不是来自于领导,但也有可能来自于市场的压力,个人绩效的压力,时间精力的有限,经验和知识的匮乏,甚至是内心无法言明的情绪等。
这个世界自从有了印刷机,信息的传递不再局限,信息变得不再那么稀有,后来有了互联网,信息开始爆炸式增长,我们拥有的信息太多,甚至多到无从下手,但事实上是有用的信息寥寥无几。没有科学、经过验证的模型支持,我们往往主观地、有选择的看待信息,对信息的曲解却关注不够,于是,当我们把越来越多的信息塞进越来越臃肿的模型,我们以为我们将看到更多真相,而事实是很多只是假相。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12