数据分析/机器学习模型无法部署的八大原因
不要成为一个模型无法部署的数据科学家
举一个典型的模型部署失败的实例:Netflix大奖竞赛。简单来说,这是一个面向大众开放的竞赛,参与者需要写一个协同过滤算法来预测电影的用户评级。胜出者获得了1000万美元的大奖。然而最后,这个完整的模型却没有得到部署。
不仅仅是Netflix,大多数公司都发生过这种戏剧性的事件。就在最近,我与许多一流数据分析公司的公司高管进行了交流,而他们最大的担忧就是公司50%的预测模型都得不到实现。
为什么要建立一个在现实世界中无法使用的模型呢?这就好像你做一个蛋糕,尝试过后发现很美味,但却永远不让任何人吃一个道理。
在本文中,我列出了在建立模型时你应当谨记的所有可能原因。在我的职业生涯中,我曾多次遇到过这种情况。因此,我认为在我经验的帮助下,可以帮助你克服这种情况。
模型部署失败的8个原因
1、高假正性(FP):这看上去似乎有点专业,而目前最重要的是了解什么是假正。假设在一个分类模型中,我们想要预测客户是应答者(给出答案的人)还是非应答者(不给出答案的人)
想象一下,如果你预测一个人X会是一个应答者,但实际上他并不会给出任何答案。这种情况下,X就被称为假正。那么在现实世界中这会造成什么影响,我知道你想要问这个问题。
举个例子,例如你需要为1000个客户建立一个保留活动,在这1000个客户中会有100个客户流失(离开)。你创建一个了不起的模型,在这个模型中前十个人中有四个人会离开(相等的十大部分)
这就意味着,从你预测的前100个客户中,40个客户会流失。所以,你推荐企业专为这100个客户提供一个吸引人的购物方案,这样可以阻止他们流失。但是,这仍有很大问题。
问题就是你花费在那些客户身上的每一美元中,只有0.4美元被用来阻止客户流失。剩下的0.6美元都浪费在那些并不是真心想要离开的假正(FP)客户身上。
2、不了解基本业务模型:最近,对于使用机器学习算法和更加复杂的模型建立技术的需求正在日益增长。换句话说,各企业正在逐渐减少使用传统的模型技术。
毫无疑问,使用机器学习技术可以加大预测能力。但是企业仍不是太接受这种黑盒技术。以我经验而言,这将导致实施一个预测策略时会需要更长的前置时间。由于大多数的应用程序业务上是高度动态的,该模型也会由于较长的前置时间变得越来越冗余
3、对业务问题不够了解:创建过预测模型对分析师或者业务同行而言都会在其履历上添加浓墨重彩的一笔。然而,这并不是你建立模型的目的。在某些情况下,分析师进入创建模型阶段,并会试图削减本应分配给了解业务问题的时间。
4、模型实施过于复杂:预测能力是这些模型实施的灵魂,但是一般情况下,预测能力是以模型的复杂度为代价的。为使模型更加健壮我们开始引入双变量和三变量,不论这些变量对业务来说有没有意义。这样的模型在书本上可能是十分精彩的,然而就因如此,他们也只能停留在书本上,并不能在现实世界中实现。
5、不能解决根本原因,仅仅试图提高一个过程的影响。我们为什么做模型?最重要的原因是为找到一个特定响应的驱动程序。这些驱动程序又是什么?驱动程序往往是响应率的根本原因。如果你引进所有影响当做输入变量,然后这些变量也会作为重要输出时将会发生什么?这将没有任何用处,因为你没有改变任何可能带来变化的事情。
6、训练人口与得分人口完全不同:在很多情况下,我们最终是在一个与实际人口完全不同的人口中建立模型。举例来说,如果你正在创建一个针对人口的活动,并且以前没有类似的活动。在这种情况下,我们先从基本假设开始,假设该人口具有高响应率,且有可能有高增量响应率。但是这种假设很少是真实的,因此该模型将很难使用。
7、不稳定模型:高性能模型通常是高度不稳定的,并且不在同一时间内执行。在这种情况下,业务可能需要高频的模型修正。随着模型创建的前置时间越来越长,业务可能会开始回到基于直觉的策略。
8、依赖于高动态变量的模型:动态变量给模型带来真正的预测能力。然而,你也可能会有这样的变量,它的赋值永远不会显示在训练窗口。
例如,你可能得到一些工作日的销售量作为重要变量来预测一个分支的月销售量。我们就说这种变量具有高预测性。但是对于我们的评分窗口而言,有一些月份仅仅有10-15天的工作日。如果你的训练数据没有这样的月份,你的模型可能无法进行准确预测。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10