热线电话：13121318867

登录
首页精彩阅读学习机器学习时需要尽早知道的三件事
学习机器学习时需要尽早知道的三件事
2018-05-21
收藏

学习机器学习时需要尽早知道的三件事

我已经在学术界和工业界进行了许多年的机器学习建模工作，在看了一系列讨论“大数据”实用性问题的优秀视频 Scalable ML 后，我开始思考总结一些在学习机器学习时，我希望能够尽早明白的事情。视频来源于 Mikio Braun，介绍了 Scala 和 Spark 相关的知识。
我希望在学习机器学习时能够尽早明白的事情有三项：

  1. 将模型应用到产品中并不是一件简单的小事；
  2. 在课本中我们很难学习到真正的特征选择和特征提取技巧；
  3. 模型评估阶段非常重要。

下面让我一个一个地介绍它们。

1. 将模型应用到产品中并不是一件简单的小事

我在 />

2. 在课本中我们很难学习到真正的特征选择和特征提取技巧

特征选择和提取方法和技巧常常无法从课本中学习。这些技巧只能从像 Kaggle 竞赛或现实世界中的项目中学习，甚至有时候需要实际应用这些技巧和方法才能学会它们。而这些工作在整个数据科学项目流程中占据了相当一部分比重。

3. 模型评估阶段非常重要

除非你已经将模型应用到测试集数据上了，否则你都不能说已经进入到预测分析阶段。像交叉验证、评估指标等评估技巧都是非常宝贵的，因为它们只需将你的数据分离成测试集和训练集。但是实际生活通常并不会将已经定义好测试集、训练集的数据给你，所以将真实世界中的数据划分为测试数据和训练数据，是一项充满创造性的工作，其中可能包含许多情感因素。在 Dato 上有许多讨论模型评估的优秀文章。
我认为 Mikio Braun 对训练集和测试集的解释值得一读。我也很喜欢他画的图并将其包含在文中，方便不熟悉训练集和测试集概念的读者理解。


我们在论文、会议甚至在讨论我们解决问题时所用的方法的时候，经常忽略了模型评价。“我们在其中使用了 SVM ”这句话并没有告诉我任何信息，这没有告诉我你的数据来源，你选择的特征，你的模型评估方法，你如何将其应用到产品中，以及你在其中如何使用交叉验证或模型查错。我认为我们需要更多关于机器学习中这些“肮脏”的方面问题的讨论。

我的朋友 Ian 在 Data Science Delivered 上有一个很好的笔记，适合需要为真实情况建立机器学习模型的任何层次的人员阅读。同时也适合希望雇佣数据科学家的招聘人员或者与数据科学团队打交道的经理阅读——如果你正在找人询问“你是如何处理这些肮脏的数据的”。



CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

特征 机器学习 特征提取 SVM 大数据

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇几种典型的BI的系统架构分析
下一篇大数据热门词汇汇总
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询