关于机器学习有这十大误区,比如以为它不久后将变得超级智慧
机器学习过去往往发生在幕后:亚马逊通过挖掘你的点击和购买记录来给你推荐新物品;谷歌通过挖掘你的搜索来投放广告;脸书通过挖掘你的社交网络来选择给你展示不同的新鲜事。
然而机器学习现在已然登上了头版头条,成为了被热烈讨论的话题!机器学习算法可以驾驶车辆,可以翻译演讲,赢得危险边缘游戏(哥伦比亚广播公司益智问答游戏节目)!
我们不由自主会问:“他们到底能做什么不能做到什么?他们会是隐私、工作甚至是人类消失的开始呢?”大家对机器学习的关注固然很好,因为机器学习将会是塑造未来的主要推动力,但是这其中又有太多关于机器学习的错误观念,我接下去要做的第一步就是纠正这些错误的观念。让我们快速浏览一下那些错误观念。
机器学习只是在总结数据
事实上,机器学习的主要目的是预测未知。知道你过去看了什么电影只是一种推测你之后想看什么电影的方式;你的信用记录预示了你会否按时付账单。而对于机器人科学家,学习算法提出假设,改进假设,而只有假设提出的预测成真时才会相信这些假设。学习算法并不比科学家聪明,但却有比科学家百万倍快速的计算能力。
学习算法只是发现了事件之间的关联
这是你对媒体口中机器学习的第一印象。一个非常著名的例子就是,谷歌搜索中关于“流感”搜索的增加是流感流行的迹象。当然这没有错,但是大多学习算法可以发现更丰富的信息,例如如果痣有着奇怪的形状和颜色,并且在逐渐变大,那么这可能会是皮肤癌。
机器学习只能发现相关性,而无法发现因果关系
实际上,最流行的机器学习算法之一就是由尝试不同的行为之后观察行为的结果(本质上是发现因果关系)所组成的。比方说,电商网站可以尝试不同呈现商品的方式,然后选择其中能带来最高购买量的方式。你可能不经意间已经参与了成千次这种实验。因果关系甚至可以在一些无法进行实验只能通过计算机处理之前记录的数据的情形下被发现。
机器学习无法预测未见过的事件,也称作“黑天鹅”效应
如果某些事之前从未发生过,那么预测它发生的概率必然为零,不然呢?相反,机器学习很擅长高精度地预测稀有事件。如果A是B发生的原因,B又是C发生的原因,那么A可能导致C发生,即便我们从未见过其发生过。每一天,垃圾邮件过滤器可以标记出刚刚捏造而成的垃圾邮件(之前未出现过)。像2008年发生的房地产危机实际上是被广泛预测到了的,只不过不是那时大多数银行所使用的是有缺陷的模型而已。
你有越多的数据,你越可能得到错误的模式
试想,国家安全局查看了越多的电话记录,越可能把一个无辜的人标记为恐怖分子,因为他的通话记录正好匹配了恐怖分子检测的机制。对同一个体挖掘越多的属性是会增加误判的可能性,然而机器学习专家们是很善于把这种可能性降到最低的。另一方面,挖掘不同个体的同种属性可以降低误判风险,因为从中学习的规则有更多的依据。而且有些学习算法可以在不同个体之间找到某些模式,从而使检测机制更加稳定。也许某人拍摄纽约市政府的视频并不可疑,同时另外一个大量购买硝酸铵的人也不可疑;然而如果这两个人之间有电话联系,也许FBI就应该调查一下以保证他们之间不是在密谋爆炸袭击了。
机器学习无视现存的知识
许多被机器学习渗透的领域里的专家质疑像机器学习这样不需掌握任何领域知识的方法。真正的知识是一个长期推理与实验的过程中累积下的,你无法靠在一个数据库里跑一个原型算法而学到。但不是所有的学习算法都不使用领域知识;其中一些就会用数据去精炼已有的繁杂知识,使其变得十分精巧,进而呈现为计算机所能理解的形式。
计算机习得的模型人类无法理解
这自然会是一个引起人们关心的原因。如果一个学习算法是黑箱模型,那么我们怎么能相信它给出的推荐呢?某些模型却是非常难理解,比如给机器学习带来最大成功的深度神经网络(从youtube的视频里识别猫咪)。但其他大多模型都完全可以被理解,比如我们之前提到的诊断皮肤癌用到的方法。
以上所有的误解都是负向的,它们认为机器学习的能力比实际上更有限。以下的则是过于正向的错误观念:
越简单的模型越准确
这个观念有时来自“奥卡姆剃刀”,但只说了我们应该倾向于更简单的模型却没有给出原因。简单模型更可取是因为他们更易于解释和推理。但是有时与数据相容的简单假设比复杂模型更不准确。一些强有力的学习算法输出模型看起来毫无理由的复杂,甚至还会继续给复杂模型添加组件即便他们已经完美拟合了数据,但这也是它们比简单模型更准确的原因。
机器学习发现的模式可以直接被采纳
如果一个学习算法输出了一条诊断皮肤癌的规则,并且极其准确(任何符合这个条件的痣都是皮肤癌),这也不意味着你应该相信它。对于数据微小的改动都会导致算法输出同等精确却非常不同的规则。只有那些对于数据中随机扰动稳定的规则可以被相信,而不仅仅是作为预测的方式。
机器学习不久后会变成超级智慧
从每天人工智能发展的新闻来看,非常容易有一种感觉,计算机已经接近于像我们一样可以看,说话,推理;不久后就会把我们抛弃在尘土里了。我们在人工智能的第一个五十年走了条长路,机器学习是其近来成功的主要原因,然而我们还有很长的路要走。计算机可以非常好的完成特定的任务,却依然没有通用智能,也还没有人知道怎么去教它们。
好了,到这你已经知道机器学习有时比我们想象的更强力,有时却不那么好。如何使我们更好运用机器学习也取决于我们!我们要对它们有更准确的理解!
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10