大数据与深度学习是一种蛮力
Facebook去年底挖来了一个机器学习大神Vladimir Vapnik,他是统计学习理论和支持向量机的主要发明者。Vladimir Vapnik被称为统计学习理论之父,他出生于俄罗斯,1990年底移居美国,在美国贝尔实验室一直工作到2002年,之后加入了普林斯顿的NEC实验室机器学习研究组,同时任哥伦比亚大学特聘教授。2014年,Vladimir Vapnik加入Facebook人工智能实验室。
Vladimir Vapnik
近日,Vladimir在俄罗斯最大的搜索引擎公司Yandex的大会上发表了讲话,重点讨论了深度学习是否以蛮力取胜。来自加利福尼亚大学圣地亚哥分校的Zachary Chase Lipton博士详细记录了会议内容,并整理成了文章:
上周,我来到柏林参加机器学习展望和应用大会。这个大会由Yandex举办,主要谈了Deep Learning和Intelligent Learning两个问题,它们经常作为对比的概念出现。
虽然我自己也是演讲者之一,但是整个会议的高潮部分,还是关于深度学习的方法论,其中经验主义和数学推理中的矛盾部分。
第一条是关于深度学习,讨论的是背后的数学支撑,以及未来的方向。问题包括了模型的可解释性和医疗领域的应用。到了周三晚上,Vladimir Vapnik也参与了讨论,说的是知识如何在不同的个体之间传递。Vladimir的哲学观横跨了机器学习、数学和智能的源头,并且挑战了深度学习的方法论,这很有争议。
其实在今年夏天,我就写文章说机器学习的成功是大数据时代经验主义的胜利。在里面我强调说,过度去拟合数据,虽然能在真实数据中得到检验,但里面会有很大风险,至少比基于数学推理建立的系统风险大得多。在这次会议中,我听到了Vladimir在这方面的观点。
为了避免混淆视听,我得强调:我是一个深度学习的实践者。我个人并不否认深度学习,而且对它的先行者和火炬手充满尊敬。但我也同样相信,我们应该对深度学习的可能性抱有开放性的态度:
即会有一些数学模型,能够更好的指明未来发展方向,开启新的方法论。
很显然,当我们去咀嚼和消化这些观点的时候,能够得到很大的价值。
大数据与深度学习是一种蛮力?
尽管Vapnik当场说了很多观点,但是最核心的还是援引了爱因斯坦关于上帝的隐喻。简单的说,Vapnik假设了一个理论:想法和直觉要么来自上帝,要么出自魔鬼。而区别在于,上帝是智慧的,而魔鬼往往不是。
在作为数学家和机器学习研究和践行者的生涯中,Vapnik得出了一个结论:魔鬼往往来自于蛮力(Brute Force)。进一步说,如果承认深度学习系统在解决问题时不可思议的表现,那么大数据和深度学习,都有某种蛮力的味道。
不过,我自己并不同意深度学习必须等同于机器蛮力。我们如今也能看到对于大数据的观点争论,其中Vapnik和Nathan Intrator教授就说:小孩不需要几亿的标签样本以完成学习。虽然有大量带有标签的数据时,学习会成为一件比较容易的事,但如果依赖这样的方法,我们就错失了自然界中关于学习的基本原理。
也许,真正的学习只需要数百样本,而我们现在却只有非常大的数据量才能完成学习。如果我们不去探寻学习的本质,那就是在屈从于懒惰。
我们现在的深度学习并非科学。确切的说,机器学习和核心任务是理解计算本身,而现在的方法和它有所背离。这就好比任务是制造小提琴,而我们扮演的角色不过是小提琴演奏者,虽然也能创作美妙的音乐,也有演奏的直觉,但我们并不知道小提琴如何创造出音乐。
进一步说,很多深度学习实践者,他们对数据和工程有很好的感觉,但其实不知道这里头是怎么回事。所以在目前的深度学习方法中,参数的调节方法依然是一门“艺术”,而非“工艺”。
在算法和模型上,我们是否能发明所有东西?
Vapnik认为,在机器学习的算法和模型上,我们并不能发明所有东西。他坚持说,他自己并没有如此的聪明才智,以完成这些算法模型的发明。(这似乎也在暗示,其他人也没有那么聪明,去发明这些玩意)
按照Vapnik的意思,我们在机器学习上发明的东西是微不足道的。真正重要的东西,来自于我们对数学本质的理解。就深度学习来说,模型经常被发明出来、品牌化并申请专利,但这些相比于真正由数学驱动的机器学习,就显得很一般了。
关于深度学习的反思,来自纽约州立大学的顾险峰教授也有很多理解。顾险峰认为,深度学习方法深刻地转变了学术研究的范式。以前学者们所采用的观察现象,提炼规律,数学建模,模拟解析,实验检验,修正模型的研究套路被彻底颠覆,被数据科学的方法所取代:收集数据,训练网络,实验检验,加强训练。
在深度学习新方法下,严格的数学推理缺失了。比如说地图四色定理的证明,数学家将平面图的构型分成1936种,然后用计算机逐一验证。当然在足够的算力下,这可以证明地图四色定理。但是在这个过程中,没有新颖概念提出,换言之,机械蛮力代替了几何直觉。
而在数学历史上,对于一个著名猜想的证明和解答,答案本身也许并不重要,在寻找证明的过程中所凝练的概念,提出的方法,发展的理论才是真正目的所在。机械定理证明验证了命题的真伪,但是无法明确地提出新的概念和方法,实质上背离了数学的真正目的。
所以说,这是一种“相关性”而非“因果性”的科学。历史上,人类积累科学知识,在初期总是得到“经验公式”,但是最终还是寻求更为深刻本质的理解。例如从炼丹术到化学、量子力学的发展历程。
人类智能最为独特之处也在于数学推理,特别是机械定理证明,对于这一点,机器学习方法是无能为力的。当人的数学推理缺失的时候,仅仅依靠机器蛮力,就会遇到很大制约。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12