大数据时代下数学建模还有作用吗
一直以来很想回答这个问题。只是后来发现我想说的很多回答者已经回答过了。今天看了「拒绝用QQ邮箱发应聘邮件的求职者是否合理?」的有关讨论,突然发现,在这个问题里面,可以把我的「没处答的一些话」写下来。
我曾经有一次讨论过有关机器学习的事情,我很相信这样的方法可以为我们「解决」某些问题提供帮助,但是他对这些方法很不喜欢,因为「解决」问题跟「理解」问题是两码事。大数据时代的各种统计学习方法可以为我们解决许多问题,但我们却不知道为什么会这样。
有了大数据,我们直接从数据里面就得出来很多奇妙的结论。例如杨宣指出的,在「不通过」这个分类之下,qq 邮箱是概率排名前五的强特征。这就是「大数据时代」(或者其它各种各样类型的「实证研究」)为我们解决的一个问题——至少 HR 们筛掉 qq 邮箱在统计的意义上是有些理性依据的。
但是是不是有什么东西被我们错过了呢?
今年暑假的某一天,我听一个我很尊重的老师批评了目前在做复杂系统有关问题时,主要基于统计的那些研究者,他们做出来的一些东西。我们都知道现在做这些问题的研究者可以发表很多很好的文章,但是这些文章缺少了某些东西。
以往,如果我写了一篇论文,发现某个结论,并且在文中提出得出这个结论可能的一个原因,甚至提出来一个数学模型,这个模型可以解释我从数据分析中得到的那个结论。要是把我写的这篇文章投稿到比较好的期刊,审稿人必然会提意见——你提出了一种产生这个结论的原因,可是你怎样排除掉其它的原因呢?如果你不能排除掉其它的因素的影响,那我们很遗憾只能拒绝掉你的文章了。
在大数据时代,审稿人们还能以此为理由拒绝掉别人的文章吗?这些数据这么珍贵,甚至有的是从运营商、航空公司、网站和志愿者处花费了金钱和时间才得到的,提出这样的一个解释就已经很好了……可是我们很可能会距离理解各种问题越来越远。在大数据时代,通过各种统计的方法,我们可以得到许多有意思的结论,但是这些结论不能让我们心安。就像「用 qq 邮箱的求职者很可能有着较低的简历质量」也可能会是一个从大数据分析得到的结果,可是我们不会知道为什么会这样。公开这些结论,甚至可能招致他人的批评。每个人可能有不同的看法,也会自己提出对这个问题的解释,即每个人都会对这个结论提出自己的「模型」,并把自己的「模型」跟这个结论等价起来。如果「模型」不能排除其它因素的影响,那么你可以提出你的理论来解释这个问题,而我也可以提出我的模型来解释这个结论,我们最终会无法说服他人。遗憾的是,正因为我们的结论来自大数据,很多时候我们很难再找出「对照实验」的那些数据了,杂志社没有办法说「如果你能排除掉其它的因素的影响,我们就发表你的文章」。我们很可能会距离「为什么」越来越远。
而如果把「大数据」和「数学模型」对立起来,则这里所说的「模型」便是另一码事了。这里的「模型」与「机制」「假设」「简化」等等更接近。有了「模型」,我们就可以从「纯粹理性」而非「实践理性」的高度让你心安。就像每个 HR 都可以提出无数个讨厌 qq 邮箱求职者的理由,只可惜,这些模型都是你个人的角度,大家攻击起来实在容易。我们或许会越来越难摒弃掉这些偏见,因为没有一个可以让大家都相信的「理论」(或者「模型」)。我们只知道结论。
这时候,如果你是天才的建模者,提出一个能被大家公认的模型,并排除掉其它也可能造成这一现象的干扰因素,那就是真正的大神了。我比较悲观,因为我自己也会在实用的结论面前满足。
数据分析咨询请扫描二维码
数据收集与整理 - 从各种来源收集数据,清洗和整理以确保数据质量和可用性。 数据分析与建模 - 运用统计学方法和机器学习模型对 ...
2024-11-26技术技能 - 编程能力: 数据分析师需要掌握至少一门编程语言,如Python、R或SQL。这些语言对于数据处理、建模和分析至关重要。例 ...
2024-11-26数据分析领域涵盖多样性岗位,根据工作职责和技能需求划分。这些角色在企业中扮演关键角色,帮助组织制定战略、优化流程并实现商 ...
2024-11-26数据分析是一种通过收集、处理、解释和展示数据,以获得见解和决策支持的过程。这个领域涉及使用统计学、计算机科学和商业智能等 ...
2024-11-26数据分析领域正日益成为当今商业世界中不可或缺的一环。随着数据量的爆炸式增长,企业越来越需要能够从这些海量信息中提炼出宝贵 ...
2024-11-26数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。在追求这一职业道路上,合适的教育和培训至关重 ...
2024-11-26数据分析师作为当今信息时代中关键的职业之一,扮演着解释、预测和推动决策的重要角色。他们需要多方位技能来处理各种复杂的数据 ...
2024-11-26数据分析师在今天的商业环境中扮演着至关重要的角色。他们需要应对各种复杂的数据分析任务和业务需求,这要求他们具备广泛的技能 ...
2024-11-26在当今快速变化的技术和市场环境中,数字化转型是企业利用数字技术全面重新设计和改造业务的重要过程。这一转型旨在通过整合云计 ...
2024-11-26数字化转型: 是企业在现代技术和市场环境不断变化的背景下,利用数字技术对其业务进行全面的重新设计和改造的过程。其核心目标是 ...
2024-11-26理论基础与高级学习 数学专业理论基础: 学生首先需要掌握数学的基础理论,包括数学分析、高等代数、几何学、常微分方程、实变函 ...
2024-11-26数字化转型:现代企业蜕变的引擎 数字化转型已然成为当今企业持续发展的关键支柱。这一过程并非简单的技术升级,更是涉及企业文 ...
2024-11-26# 数据科学与大数据技术专业学什么?就业前景与行业需求 **数字化转型:引领企业进步的关键** 数字化转型是现代企业发展的必经 ...
2024-11-26理论部分 - 基础数学理论: - 学生首先需要掌握数学的基础理论,包括数学分析、高等代数、几何学、常微分方程等。 - 这些课程 ...
2024-11-26在选择数据科学和大数据技术专业时,了解不同领域的职责和技能需求至关重要。数据治理工程师是这一领域中不可或缺的角色之一,承 ...
2024-11-26基础课程 统计学基础 - 统计学是数据分析的基石,包括概率、假设检验、回归分析等基本知识,有助于理解数据背后的意义。 - ...
2024-11-26数据分析是一门综合性学科,涉及多个领域的知识和技能。要全面掌握数据分析,需要学习以下内容: 基础课程 统计学基础:统计学 ...
2024-11-26数据治理工程师在当今信息时代扮演着至关重要的角色,负责确保组织内数据的质量、安全性和可用性。他们需要具备一系列技能和才能 ...
2024-11-26在当今数字化时代,数据被誉为新的石油,是企业最有价值的资产之一。因此,建立有效的数据战略规划对于企业的成功至关重要。数据 ...
2024-11-26<section id=
2024-11-26