大数据会说话,简明机器学习问题
从数据中学习究竟是什么?科学家从数据中学习,企业、政府和慈善机构也一样。事实上,无论是私人、公共的,还是慈善部门的领域,几乎没有哪个领域不在部署数据驱动的模型,以发掘和利用数据中的关系。
我们置身于数据之中,亚马逊网站每天发生2.5万次销售/交付,10万个基因几乎同时测序,超过100亿张图片存储在网页上。而大约在几个月之内,英国的国家卫生局对6000万份健康记录进行了数字化处理。我们所有人每天都在使用数据,而且许多人在工作的付薪过程中都使用了数据。营销公司的分析师必须决定,他的受众/听众选择模型需要包含哪些因素。本地卫生部门的研究人员测量季节性流感的发病率。气象学家运行气候模型,计算降水的可能性、温度的变化以及云层覆盖的百分比。
公共部门和某些公司需要将海量信息转换为可操作的战略性公共/商业决策。从数据中学习提供了一系列实践性的技术和工具,来帮助开发稳健的归纳模型,用以从数据中提取可用的见解。归纳的简单含义是指观点源于经验数据,而非根据理论第一的原则来推导。
本文的首要目标是帮助你把大量数据转化为可用的知识。为此,我们将借助理论来重塑数据科学挑战的思考方式。但是,本文不是一本专门讨论引理、证明以及抽象理论细节的教科书。它为这样的读者而准备:他们希望获得一个重要的、成功的框架,用来建立有用的预测分析模型,从而为他们工作的组织以及他们服务的客户改善运营方式和提高盈利。同时务必了解,数据科学这项职业不适合那些缺乏好奇心或者技术能力的人,任何处理实证数据的职业也同样不适合。
在本文中,你会学到归纳推理与演绎推理的关键区别,确定学习问题的三大要素,以及发现使用归纳模型的一个明确框架。
1.1 归纳推理和演绎推理的基础
图1.1围绕着假设检验,展示了归纳法和演绎法之间的一个关键区别。两种方法都始于观察有趣的现象,但归纳方法更关心选择最佳的预测模型。而演绎方法更关心探索理论,主要是结合数据来检验某个理论的假设。根据经验数据的“有分量的证据”,来判断这个假设是接受还是拒绝。
图1.1 归纳和演绎
1.1.1 你曾遇到过这些事情吗?
我想起在我听过的理论经济学课上,教授曾严厉警告:“不能信任数据。”也许,这种经历并不仅仅出现在我的课堂上。一位著名的计量经济学教授曾解释道1:“经济学中有一种普遍观点,如果当前的经验证据不可信,或经济现象无法预测,那么主要是因为经济太复杂,而且产生的数据太混乱,不适合建立统计模型。”或许,你也有过类似经历。
但是,当我离开课堂,步入了经验分析的真实世界,居然很快发现,只要给我足够的数据和适合的工具,使用数据驱动的归纳法会带给我意义重大的结论。
注意:在每个可以想到的领域——商业的、工业的以及政府的,成功的数据驱动的归纳模型都已经存在,或正在建立。数据决策的模型越来越多地用来制定决策,如可以识别你的语音的智能手机,又如实施外科手术的机器人2,再如核爆炸的检测。
1.1.2 释放归纳的力量
无论你是否在这些领域中工作,医疗诊断、手写体识别、市场、金融预测、生物信息学、经济学的领域,还是在其他任何要求经验分析的专业领域,你常常会面对这样的情况,潜在的首要原则尚未发现,或正在研究的系统过于复杂,无法通过充分详细的数学描述来提供有用的结果。我发现,数据驱动的归纳方法在以上所有情况中都有用,你也会认同这一点。
注意:在科学之外,演绎分析可能在经济学学科中占据了顶峰地位,其中大部分的焦点(甚至今天也一样)都围绕着检验和评估演绎理论的经济学有效性。事实上,经济学家对理论进行客观验证的渴望催生了新的统计学子学科—计量经济学。
1.1.3 推断的阴阳之道
尽管归纳和演绎的区别相当大,但它们实际上也可以互补使用。对于一个研究者来说,计划一个同时包含归纳元素和演绎元素的项目是非同寻常的。
如果你曾经或长或短地从事过经验建模领域的工作,那你很可能发现这种情况:你计划执行一个归纳或演绎的项目,但没想到随着时间的推移,你又发现了其他更适合的方法来阐明你的研究问题。需要牢记的是,归纳方法或演绎方法的使用,部分地依赖于你的数据分析目标。
注意:演绎推理优越性的相对下降,可以部分地由数据驱动模型的高度成功来解释。意大利学者马特奥·帕尔多(Matteo Pardo)和乔治·斯贝沃格里尼(Giorgio Sberveglieri)在十多年前正确地观察到6:“在当前,从遵循首要原则的经典建模到开发数据建模,发生了一种范式转换。”有趣的是,需要注意,现在数据建模者的短缺是世界性的问题7。
1.2 学习问题的三大要素
我们的讨论始于学习问题的基础。例如,有监督的分类问题,其中我们得到的数据是实值的属性—响应对(x,y)。三个元素组成了基本的学习问题。
1.3 从数据中学习的目标
注意:
归纳偏置是数据科学实践中的一个关键要素,正如伦敦经济学院的Jonathan Baxter的解释8:“在机器学习中,可能最重要的事情就是学习机器假设空间的预先偏置,它要足够小,以保证合理训练集的好的一般化(预测能力),也要足够大,这样它才能包含学习问题好的解决答案。”
1.3.1 阐明选择标准
1.3.2 学习任务的选择
现在,我们的学习框架已经准备就绪,可以把注意力转向我们作为数据科学家需要执行的真实任务。相当幸运,结果发现从数据中学习可以恰好分成3种基本类型的工作:
(1)类别决策边界的分类或估计。例如,流水线上按大小和颜色分类的鸡蛋。
(2)未知连续函数的回归或估计。例如,预测本地音乐节创造的票房平均价值。
(3)概率密度的估计。例如,估计爱尔兰沿海河流中白斑狗鱼的密度。
本文将自始至终主要讨论分类的问题,因为这是数据科学家面对的最频繁的任务。但是,我们得出的经验教训适用于所有3种类型的任务。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12