作者:William Vorhies
CDA数据分析研究院原创作品, 转载需授权
2018年刚刚结束,在2019年到来之际,让我们一起展望在今年数据科学、机器学习和人工智能领域会有怎样的发展趋势。
首先让我们快速回顾一下,去年我们曾做出了哪些预测。
2018年预测回顾
预测1
模型生产和数据准备都将越来越自动化。
大型的数据科学操作将集中在一个平台上。这两种趋势都是为了提高效率,从而让更少的数据科学家完成更多工作。
结果
预测正确。 无代码数据科学和端对端集成平台都处于上升发展阶段。
预测2
数据科学将继续专业化,意味着全栈型数据科学家将消失。
结果
是的。如今比起数据科学家,数据工程师更受关注。数据工程师是那些让数据科学模型在现实中发挥作用的人。
预测3
非数据科学家将比数据科学家执行更多复杂的分析。
结果
这是真的。Data Viz和Visual Analytics等技术作为桥梁,让非数据科学家能够从复杂的数据科学工具中获取更多价值。
预测4
深度学习很复杂。很少有数据科学家掌握刚领域的技能,这将阻碍人工智能的应用,直到深度学习平台得到更为简化和产品化。
结果
微软和谷歌都在2018年推出了自动化深度学习平台。这些平台从转移学习开始,但正朝着完整自动化深度学习发展。同时也还有一些集成自动深度学习平台。OneClick.AI有完整的自动化机器学习和自动化深度学习平台。
预测5
尽管有大肆宣传和炒作,但人工智能和深度学习在各大市场中渗透的速度和广度都比你想象更慢更窄。
结果
除了聊天机器人的出现,人工智能在商业中的实际应用非常有限。他们来了,但还没有。在我知道最全面的研究表明,在大型公司中,只有五分之一到三分之一的公司在大规模实施人工智能。在较小的公司中,这个比例要小得多。而且我们不确定哪些是否是“真正的”人工智能。
预测6
政府将开始认真看待人工智能对社会和隐私的影响,无论是有意的还是无意的。
结果
只要看到这方面的新闻就会发现,政府在针对这方面出台相关的监管机制。对人工智能设计的隐私等方面进行规定。
我们队2018年的预测基本正确,当中有些预测趋势也可以用于新的一年,下面继续看到对2019年数据科学、机器学习和人工智能领域的预测。
2019年预测
预测1:
数据变得比算法更重要
我们已经有一年多美元在深度学习和机器学习方面取得任何重大突破了。当中也有一些渐进式的改进,比如使用时间卷积网(TCN)而不是RNN来减少NLP的延迟,但没有很大的新创新。性能最佳的算法很有名,或者可通过自动机器学习轻松发现。
目前,随着公司开始实现数字化转型,拥有更多更好的数据是成功的关键。实际上,这为同时想多个方向提供数据相关解决方案的提供了竞争机会。
一个方面,获得准确标记的图像或文本的训练数据仍然非常昂贵且耗时。Figure Eight这样专注于标记数据的公司正在推广智能的成本效益策略,比如Active Learning,让你在标记数据和模型准确性之间取得最佳权衡。这涉及多次迭代,添加人工标记或机器标记的数据,然后重新训练以找到最佳方案。
第二个方面是访问第三方数据。像DymstData这样的服务公司已经进入该领域,作为数百种附加数据的结算方。他们还承担着确保敏感PII受到保护等服务,这些信息在金融和医疗服务中尤为重要。
第三个方面是自动跟踪并记录模型中使用数据的来源。特别是当不同来源的流数据被集成,且随时间变化时,知道其来源以和使用方式对准确性和合规性都是至关重要的。Tibco和其他分析平台正在整合此功能。
围绕数据的服务产品在今年将大幅扩展。
预测2:
随着人工智能和机器学习从分析平台转移到行业或流程特定应用,一切将变得更容易。
纵观人工智能和机器学习创业公司,可以看到竞争正在转向行业或流程特定的应用。这些应用程序或小型平台主要解决市场营销、B2B销售、医疗保健、金融技术等行业特定问题。
这些新应用程序专注于嵌入人工智能和机器学习,从而企业在进行更新和改进时,只需依赖这些开发人员,而无需大型内部数据科学家团队。
有人将这称之为人工智能和机器学习商品化,但更准确地说,你可以将其视为人工智能和机器学习的专业化。
如果你熟悉90年代后期从流程再造(Reengineering)到企业资源计划(ERP)的过渡,其实这是一回事。最初,流程再造呼吁公司使用复杂的定制IT解决方案来改进流程,因为当时还不存在标准化解决方案。这为Oracle、PeopleSoft、SAP等采用集成ERP的企业带来了机遇。我们的行业目前正在经历同样的变化。
这些新的企业都致力于在各自特定领域提供广泛的解决方案,但不可避免地最终得到不太大的ERP规模平台。
还要注意中小型公司中人工智能和机器学习的采用率,这些公司不再需要大型数据科学团队,而可以完全依赖定制的开发模型。
预测3:
数据工程师和数据分析师的崛起
这并不是说数据科学家以及不受欢迎了,远非如此。当你缺乏某种技能时,市场会以不同的方式填补这种短缺。
一种方法是通过上文讨论的行业和流程特定智能应用,这些应用程序不需要大量的内部数据科学家。
第二种方法是自动机器学习平台在迅速涌现。这意味着效率的提高,更少的数据科学家能够完成更多的工作。
模型的数量没有减少,而是增加了,这将工作负荷转移到具备两方面技能的数据工程师上。
第一是能够创建数据科学所需的基础架构,如数据湖和Spark实例。
第二是采用模型,确保模型在操作系统中实现,并跟踪模型的准确性和更新。
一些数据工程师还负责数据操作,确保数据流干净和预处理环节。
分析平台的另一个发展是视觉分析和数据可视化工具的发展。如今,这些工具大多与数据科学工具集完全集成,让数据分析师和高层能从中提取更多价值,甚至指导分析工作。他们不会取代数据科学家,但强化了高级分析中的团队作用。
预测4:
神经形态芯片:人工智能与物联网走向前沿
两种不同的技术同时达到半成熟阶段,从而解决长期存在的延迟问题。
例如,当你想用移动设备自动将文本或图像外来词翻译成其他语言时,你的设备将信号发送到云端进行翻译,然后传回设备。
谷歌等即时翻译服务已经从RNN转为专门的CNN结构,称为时间卷积网,因为RNN 不能很好地适应大规模并行处理,而CNN可以。这样能够减少延迟,但仍然保证信号的完整传输。
解决这个问题的两种技术之一是5G网络。5G速度更快,但其真正的好处是能够承载的流量密度。这能够让一切信息都能在互联网上传输,具体的传输量还有待观察。
第二种解决方案是引入新的且更好的神经形态芯片(又称脉冲神经网络)。我们希望这些全新的神经网络能够实现通用人工智能,虽然这还有很长的路要走。
如今,主要的芯片制造商和几家初创公司都在发布现在正在发布脉冲神经芯片,专门针对芯片上的CNN和RNN型号进行了优化。其中一些还针对极低功耗进行了优化。
这些特性结合在一起非常适合将深度学习转移到网络边缘的芯片上。从今年开始,随着这些新功能的出现,物联网和其他流媒体数据应用程序将出现爆炸式增长。
预测5:
不同的人工智能框架将学会相互交流
现在,文本、语音、图像和视频模型已成为主流,我们遇到了意想不到的障碍。在一个框架(Caffe2、PyTorch、Apache MXNet、Microsoft Cognitive Toolkit和TensorFlow)上构建的模型无法轻松移植到不同的框架。
幸运的是,这个痛点推动了创新。AWS、Facebook和Microsoft合作构建了开放式神经网络交换(ONNX),使模型可以在不同的框架上实现互操作。
随着开发人员、应用程序和设备之间共享的模型数量越来越多,ONNX将成为今年的关键技术。
以上就是2019年数据科学、机器学习和人工智能领域的相关预测。让我们拭目以待,期待这些领域在今年的发展和创新。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10