大数据时代:数据和算法,谁更重要?
我知道很多人自始至终都认为数据是越多越好,即大数据越大越好,Google甚至直言:更多的数据胜过更好的算法,而过去很多侦探剧中崇尚“信息越多,就越靠近真相”的刑侦金句也似乎佐证这一点。
而事实上,我的观点是,数据只是基础,如何建构起有效的算法、模型比数据本身更重要,最起码对目前而言是这样的。持与我相近观点的大有人在,如《The Signal and the Noise》(信号与噪声,作者Nate Silver)这本书里面的一个观点是“更多的数据意味着更多的噪声。信号是真相,噪声却使我们离真相越来越远。”
每种观点都有自己的理据,所以我们不能片面地去判断说哪种观点对与错。就大数据这个事情而言,我认为Google是一个理想主义者,而Nate Silver则是一个实用现实主义者。
理想中的大数据的终极形态是不用构建模型,或者说已经构建了全模型,不用针对每次分析的目的去单独建模,数据自身会从数据特性,规律去进行逻辑性分析(非数理分析),人们只需要将所有数据输入,机器就能告诉人们这些数据中,哪些数据说明了什么问题,大数据的输出成果将不是一份报告,而是一个体系,没有一份报告能容纳如此多的结果。到了那个时候,确实是更多的数据胜过更好的算法,因为那时候已经没有了算法,没有什么是不能计算的。
但现实是,我们目前的大数据离理想中的大数据形态还有很远的距离。
我们先看一个通过数据分析来辅助营销的例子。你要推广一个旅游产品,比如说是一个旅游攻略的APP,你第一反应肯定是去旅行社、户外网站去收集数据,去展开宣传,去铺开销售吧?这当然对,但问题是,经常旅游的人很可能已经不需要你旅游产品的指导,他们有更多的出游经验,他们有更多的团队合作,他们可能更倾向个体出行。而不经常出没在户外网站的人,不经常搜索旅游相关信息的人,他们心中对旅行的渴望也许是很强烈的。从数据的维度来看,从旅行社、户外网站收集到的客户信息当然是比大众市场上得到的客户信息的维度要多,颗粒度要细,信息更非结构化,更称得上“大数据”,但显然,通过这些更大的数据却未必能支撑你找到更多有需求的客户。当然,你也许会说在强关联的小圈子里找到客户的单位成本远比漫无边界地挖掘客户的单位成本要低。但我只是用这个例子去说明,更多的信息未必能指向更明确结果,如何建构一个合理的模型(利用有限的数据去做最有效的分析),远比找到一个新的数据源要重要得多。
目前的大数据与理想中的大数据形态的距离并不在于数据源的多少上,数据源从来不是问题,问题是在于我们如何去建构一个科学合理的分析模型,并相信、坚持分析模式的输出结果。通过不断地修正、累积各种正确的分析模型,我们将不断接近理想形态。
而很不幸的是,有时候现实与之背道而驰。
分析员总是习惯带着预设去分析,他们会自觉不自觉地以对自己有利的方式对这些数据进行分析和解释,而哪怕这些方式很可能与这些数据所代表的客观现实不相吻合。出于各种原因,分析员很难从干扰他们的噪声中分辨出有用的信号,甚至会无视这些真实有用的信号。于是,数据展示给他们的通常都是他们想要的结果,而且他们通常也能确保这些数据令大家皆大欢喜。同时,我们天真的相信各种预测分析模型,却没有人认真地去验证这些模型是否科学合理,是否与事实相符,也许这些模型在进行架设选择时根本不堪一击。
我对此感同身受。我曾经为不同省份的移动公司做过各种形式的经分,给我最大的感受就是,我们不是要用数据去发现问题,找到解决问题的方法,而是我们要用数据去支持领导的观点,一旦结果与领导观点相悖时,模型是可以调整,数据可以调整,口径可以调整,只有领导的观点不能动,不能变。具体的过程是,刚开始时我们通过经验建构了分析模型,模型只需要三组数据,但很不幸无法支撑领导的观点,进而增加到五组,依然无法得出想要的结论,进而想方设法增加到十组,并开始调用不同的分析模型,费尽九牛二虎之力,终于在用某模式导入XXYY数据时,出来的结果刚好与领导的观点一致,好吧,终于天亮了,终于可以定稿了,终于可以各自回家睡觉了。一觉醒来后开始宣扬,我们充分调用了N多的数据,并创新性地使用了X模型,得出某某结论,与领导观点不谋而合。
这就是分析员的困境,而这种困境是目前分析工作的常态,也许压力不是来自于领导,但也有可能来自于市场的压力,个人绩效的压力,时间精力的有限,经验和知识的匮乏,甚至是内心无法言明的情绪等。
这个世界自从有了印刷机,信息的传递不再局限,信息变得不再那么稀有,后来有了互联网,信息开始爆炸式增长,我们拥有的信息太多,甚至多到无从下手,但事实上是有用的信息寥寥无几。没有科学、经过验证的模型支持,我们往往主观地、有选择的看待信息,对信息的曲解却关注不够,于是,当我们把越来越多的信息塞进越来越臃肿的模型,我们以为我们将看到更多真相,而事实是很多只是假相。
数据分析咨询请扫描二维码
需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21《Python数据分析极简入门》 第2节 3 Pandas数据查看 这里我们创建一个DataFrame命名为df: importnumpyasnpi ...
2024-11-21越老越吃香的行业主要集中在需要长时间经验积累和专业知识的领域。这些行业通常知识更新换代较慢,因此随着年龄的增长,从业者能 ...
2024-11-20数据导入 使用pandas库的read_csv()函数读取CSV文件或使用read_excel()函数读取Excel文件。 支持处理不同格式数据,可指定分隔 ...
2024-11-20大数据与会计专业是一门结合了大数据分析技术和会计财务理论知识的新型复合型学科,旨在培养能够适应现代会计业务新特征的高层次 ...
2024-11-20要成为一名数据分析师,需要掌握一系列硬技能和软技能。以下是成为数据分析师所需的关键技能: 统计学基础 理解基本的统计概念 ...
2024-11-20是的,Python可以用于数据分析。Python在数据分析领域非常流行,因为它拥有丰富的库和工具,能够高效地处理从数据清洗到可视化的 ...
2024-11-20在这个数据驱动的时代,数据分析师的角色变得愈发不可或缺。他们承担着帮助企业从数据中提取有价值信息的责任,而这些信息可以大 ...
2024-11-20数据分析作为现代信息时代的支柱之一,已经成为各行业不可或缺的工具。无论是在商业、科研还是日常决策中,数据分析都扮演着至关 ...
2024-11-20数字化转型已成为当今商业世界的热点话题。它不仅代表着技术的提升,还涉及企业业务流程、组织结构和文化的深层次变革。理解数字 ...
2024-11-20