哪些情况会让数据科学家抓狂
哪些情况会让数据科学家抓狂
如今,人们对数据科学的热情高涨。只要在产品介绍中加入"由人工智能驱动",就能极大地促进产品的销量。
但是,问题也接踵而至。
数据科学在营销时常常会夸大其词。从而,客户也大大提高了期望值。但最终,数据科学需要尽力去实现客户的高期望。
在本文中,我们将讨论机器学习项目中八个让数据科学家抓狂的常见问题,以及为什么这些问题让数据科学家苦恼不已。
如果你也处于数据科学领域,或者考虑进入该领域,那么明确这些问题能帮助你更好做出判断并进行处理。
1. 我们想要一个AI 模型来解决问题
行业中80%的问题都可以通过简单的探索性数据分析解决。如果在解决某些问题时用机器学习都有些大材小用,那么根本不用再考虑用AI了。
是的,高级分析很高大上。企业都喜欢通过对这方面的投资在行业中处于领先地位。哪家公司不想宣传一下 AI 项目呢?但需要对客户进行基本的说明,采用适当的行业用例。
“到目前为止,人工智能的最大危险在于人们过早的认为他们已经充分理解它了。”
—— Eliezer Yudkowsky
2. 通过一些数据得出变革性的分析见解
通常客户认为,他们只需要提交数据就可以了。有些客户甚至不会提供相关问题的定义,具体可以看到第四点。他们要求数据分析师获取数据,并得出变革性的商业见解,从而能够在一夜之间改变企业的发展方向。
不幸的是,数据科学家无法单独得出可操作的商业建议。这需要与客户进行持续有效的交流,从而全面了解企业的情况。在整个项目期间,定期与业务人员进行规划是很重要的。
“如果你不知道如何提出正确的问题,那么你将一无所获。”
—— W. Edward Deming
3. 构建模型,并跳过不必要的分析来节省时间
许多数据分析师忽略了数据整理和探索性分析的重要性。
数据分析是机器学习和其他更高层次分析的必要步骤。如果不了解数据,不去发现异常值或潜在模式,那么模型将一无是处。因此必须为分析预留时间,并与客户分享有价值的发现。
“炼金术士在寻找黄金时会发现其他许多更有价值的东西。”
—— Arthur Schopenhauer
4. 根据上周的数据,你能预测未来6个月的数据吗?
这是数据科学家们最讨厌的情况。客户在电子表格中提供了几行数据,并希望 AI 能够预测未来。有时更夸张,在没有任何数据时,客户想知道机器学习是否能填补这些数据的空白。
数据质量和数量至关重要,“垃圾进,垃圾出”适用于数据分析。有用的统计技术有助于处理数据问题,并能在你提供的少量数据中得出更多的结论。例如,估算缺失点,生成数据或使用较小的简单模型。但这需要降低客户对结果的预期。
分析技术与数据量的关系,来源:吴恩达
5. 你能在两周内完成建模项目吗?
许多项目的规定时间十分紧迫。这种高强度的项目安排常常会给模型工程阶段带来影响。随着模型API和GPU计算的出现,客户想知道到底时什么减慢了缓数据科学家的速度。
尽管自动化机器学习取得了进步,但在建模过程中手动操作也是必不可少的。数据科学家必须在痛苦的迭代中检查统计结果,比较模型和检查解释。这些是不能自动化的,起码现在还不能。这方面最好通过案例跟客户说明。
6. 你能替换输出变量并刷新吗?
在数据科学家解决了商业行为的建模问题之后,新的请求即将出现,也就是最后的小变化。通常是替换输出变量,然后重新运行模型。客户意识不到这些变化不仅会改变目标,而且会改变整个模型。
虽然机器学习是高度迭代的,但关键挑战是为给定的输出变量选择正确的影响因素,并映射它们间的关系。客户必须了解这背后的基本工作原理,以及明确他们可以调控的范围。
7. 模型的准确度可以达到100%吗?
人们经常会对错误率产生误解,而且容易盲目追求测试等级。有些客户甚至希望准确度达到100%。当准确度超过其他因素成为唯一的关注点时,这就很令人担忧了。建立一个过于复杂却无法实现的高准确度模型有什么意义呢?
以高准确度赢得Netflix奖的模型从未正式上线,因为高度的复杂性会带来巨大的工程成本,反而准确度较低的模型则会被采用。因此在考虑准确度时,要权衡简单性、稳定性和业务可解释性。
模型工程:权衡各方面的因素
8. 训练好的模型能一直不出问题吗?
在艰辛地完成建模和测试之后,客户想知道机器是否已经掌握了所有内容。常见的问题是模型是否能一直不出问题,并且适应未来业务的变化?
不幸的是,机器不能终身学习。需要进行不断地训练,通常需要每隔几周或几个月进行复习和训练,就像寒窗苦读的学子一样。如今的分析行业在迅速发展,瞬息万变,因此模型也需要不断进行维护和更新。
结语
在机器学习项目中,以上八大误区会让数据科学家头疼不已,在机器学习建模生命周期的六个阶段也会出现类似问题,如下图所示。
机器学习项目生命周期
导致上述误区的原因在于缺乏对项目的了解,以及没有正确把握主次。了解背后这些原因的数据科学家需要对客户进行更好的说明,从而双方能够更好得解决难题,而不是一味的妥协。
数据分析咨询请扫描二维码
在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17数据分析,是一项通过科学方法处理数据以获取洞察并支持决策的艺术。无论是在商业环境中提升业绩,还是在科研领域推动创新,数据 ...
2024-12-17在数据分析领域,图表是我们表达数据故事的重要工具。它们不仅让数据变得更加直观,也帮助我们更好地理解数据中的趋势和模式。相 ...
2024-12-16在当今社会,我们身处着一个飞速发展、变化迅猛的时代。不同行业在科技进步、市场需求和政策支持的推动下蓬勃发展,呈现出令人瞩 ...
2024-12-16在现代商业世界中,数据分析师扮演着至关重要的角色。他们通过解析海量数据,为企业战略决策提供有力支持。要有效完成这项任务, ...
2024-12-16在当今数据爆炸的时代,数据分析师是组织中不可或缺的导航者。他们通过从大量数据中提取可操作的洞察力,帮助企业在竞争激烈的市 ...
2024-12-16