作者 | 紫杉
来源 | Charlotte数据挖掘
前言
我个人认为,在AI这块领域,未来最缺的一是工程能力强的算法人才,过去两年因为刚兴起,所以很多人可能只会调参就能找到工作,但是这两年资本寒冬,市场不好,只会调参的「调参侠」已经远远不能满足工业界的需求了,对于模型的部署、压缩、上线等等都需要有非常强的工程能力才行;二是具有落地思维的算法/产品。能够把空想的、很难落地的项目做到落地,才是真正有价值的有意义的事,没有任何落地,纸上谈兵,撑不了几年的。
正文
这个问题不是很好回答。前一半问题是“哪个方向”,似乎讲的是领域和研究方向,后一半问题“最紧缺人才”,又和就业有关。所以我的回答尽量把这两方面兼顾,先谈就业和工业界紧缺的人才,再说说学术界缺少的人才。
我最近被两个前辈抓到他们的创业公司做暑期实习,公司是什么最好就不说了,但除我之外还骗来了一个清华的本科生(从北京骗到了硅谷)。两位前辈一个是Sebastian Thrun(赛巴斯提安·特龙)的学生,一位是Stefano Ermon的学生,去年在AAAI拿了个最佳论文的奖。
我虽然对工业界一直都不太熟悉,但借这个机会算是好好看到了一番目前人工智能创业公司的有趣情景。虽然不一定能当做借鉴,但一些经验对目前在校或者刚离校的学生来讲也许会有帮助。
灵活解决问题的人
我用了一周的时间读丹尼尔的代码(够慢了吧,完全赶不上很多国内的优秀学生),然后打开Jupyter Notebook开始一点点的做分析,最后发现丹尼尔把文本距离的算法做错了,任何从事自然语言处理的人都明白edit distance(编辑距离)的首选就是莱文斯坦距离,就算不是做自然语言处理的,这个距离在计算机界也用的很多。但这个距离压根不存在于丹尼尔的任何代码中。然后我把这一行加入进去,代码跑了5小时,最后给札德说:我做完了,检查质量吧。
一周后,丹尼尔就被炒鱿鱼了……然后公司的另一个创始人罗素开始到处宣传我用了一周解决了别人六个月都解决不了的问题。(当然,丹尼尔最后找到了一份谷歌的工作,开开心心的做机器人去了)
举这个例子想说明一件事:要建立起在某个领域的直觉和精通。这个精通并不单单是掌握一两个(甚至是好几个)算法就可以了的。不可能用一个算法解决所有的问题。
基础是必须扎实的,这个基础最好是某一个领域将近20-30年的知识的积累。只会跑个LSTM是肯定不行的。
专精一个领域的人
这里要讲另外一个同学的例子了,他的名字叫伊森,从伊利诺伊香槟毕业,在我校读了两年计算机研究生,跟在航天航空工程学院的Mykel Kochendefer(麦克·寇克德福尔)教授麾下做了一段时间的研究,是一位非常优秀,有自学能力的学生。
暑假刚开始的时候,我在帕罗奥图的街上偶然遇见他,因为有过一面之缘,打了招呼后顺带聊了聊现状,当我告诉他我加入了札德的公司的时候,他说他几天后要跟札德面试。
我在回答开头剧透了,伊森没能应聘成功。在这里分享的意义是,伊森的背景和很多进入人工智能领域的人很相似。下面这一段是我和他的对话:
我:“你最擅长的人工智能领域是什么呢?”
伊森:“我什么都会(jack-of-all-trades)。”
(评论:这很容易误导招聘者让他们觉得你样样都不专精)
我:“你在寇克德福尔教授那里做了什么样的研究呢?”
伊森:“我给无人机搭建了一个服务器,用了Kafka做流处理。”
(评论:这句话暴露缺乏研究经历)——虽然Kafka也还算是有趣
我:“怎样的工作在你看来最有趣呢?”
伊森:“我想有机会把最前沿的算法应用在公司的业务中。”
(评论:算法没有前沿与不前沿之分,只有合适与不合适之分)
我:“你理想的工作岗位是什么呢?”
伊森:“我其实最想当人工智能的产品经理。”
(评论:其实产品经理的收入不如程序员哦)
最后伊森问了我一个问题,如何在一周内精通自然语言处理,然后我只能告诉他我不知道。
举这个例子的意思是,伊森是一个聪明人,有很强的工程背景(伊利诺伊香槟的计算机系很不错),但是却不一定是机器学习/人工智能创业公司的最理想人才,为什么呢?因为在学校阶段没有在实验室做研究型工作,也没有足够的实践经验。他找错了教授(抱错了大腿)。寇克德福尔教授没有给他任何研究性质的工作,于是他用了两年宝贵的时光学习了如何搭建服务器,如何使用Kafka。
当然,如果想要做普通的工程师岗位,任何(不论大小)公司都缺优秀的后端工程师,但如果想应聘机器学习方面的岗位,或者和算法、研发比较接近,那么搭建平台或者服务器的“研究”经历就是不够的。
如果本科有个很好的学校,或者特别擅长学习,这一类的优秀人才很容易陷入每一个领域都想学学的陷阱。再加上“大公司要专才,小公司要全才”一类的宣传,很容易觉得如果每方面都学一点,那么一定会被创业公司喜爱。
事实上机器学习的底层模型原理都是类似的,与其在应用层(比如机器控制、视觉、语言、语音)等瞎晃,还不如去把底层原理弄清楚。人工智能的创业公司,和普通的网页或者手机应用公司还是有区别的。这些公司更看重学生在学术领域的成绩,因为目前大部分人工智能的模型是没法直接搬到工业场景的。
能够把学术模型转化成工业模型的人
这里要讲一个成功案例,Nihil (尼希尔)是另一个我认识的研究生,也是从伊利诺伊香槟大学毕业。尼希尔其实比我年纪大好几岁,但长着一张娃娃脸,他之前在LinkedIn(领英)做大规模搜索(Scaled Search),专门负责把理论算法扩大到工业场景中,擅长搭建后台,有很强的工程背景。两年的斯坦福计算机硕士后,现在被Snapchat找去做大规模视频搜索算法。
无论是我还是札德,在和他交流后都很想让他跳槽来我们这里工作。
也许你想问,他和伊森的区别是什么?两个人看起来不都差不多,都是以做服务器或后端为主,为什么尼希尔是大家想要的人才,伊森并不完全算是?因为经历和背景,在领英这样的大公司做高吞吐高负荷的算法所积累的技能,是一个实验室的无人机平台无法企及的。
任何人都可以跑一个LSTM,但是当训练数据有超过1000万条的时候,LSTM需要跑3天才能见完所有的数据,在这个情况下,你该怎么做?除了在多个GPU上并行以外,还可以进行算法上的改进,LSTM是所谓的线性时间度 O(n)的算法,可以换成像ByteNet这样的sub-linear时间度
算法。
谷歌最近发了一篇通报,说他们的工程师团队经过一年的努力,终于把WaveNet(某个能够生成高仿真人声的模型)速度提升到了一秒钟生成二十秒钟的人的说话声音,比学术模型快1000倍。我当时看了这篇文章后,在网上随手搜了搜,发现谷歌没有公开任何加速的细节,究竟是如何做到的,他们并没有说。Awni Hannan(奥尼·哈南),我的一个前辈,之前和吴恩达教授在百度硅谷工作,说他大概能猜测到谷歌为了优化所做的一些事情。但不难想象,这很有可能是一系列的优化,从硬件,从计算,从部署等等进行的细致优化。这样的细节虽然有“学术”价值,但从这里开始,大部分公司都不再会公开细节,让中小型公司(创业公司)难以望其项背。
这样的场景就需要有研究背景的人才,能够阅读业内最新的论文,还能够结合学术前沿切实的解决工业上的难题。深度学习50%是学术,50%是工程。这个领域的学术大牛,像是Justin Johnson(贾斯汀·强森),Andrej Karpathy(安德烈·卡帕西)(两人都是斯坦福CS231N的讲师)都是很强的工程能手。
能够研究深度学习理论的人
去年暑假我上凸优化的时候,当时我的老师Stephen Boyd(史蒂芬·波伊德)就说,当年(80年代)凸优化刚火的时候,学术界和工业界齐头并进,但大部分优秀论文都集中在学术界,用凸优化的框架建立算法,然后应用在各种数据集上,取得一个又一个辉煌的成果。但随着时间推移,没过十年,学术界在数据和应用就已经赶不上工业界了。当然,学术界既没有足够多的机器,也没有财力去搜集大量的数据,当工业界开始用资本大规模投入的时候,学术界自然就战胜不了工业界了。
我们现在已经可以看到苗头了,DeepMind,谷歌,OpenAI,微软,FAIR等各大公司抢占人工智能高地,大量的发出论文,传统的强校诸如CMU或斯坦福都比不上这些大公司的势头和影响力。这个情况在3-5年后很有可能会恶化。
也许很多人觉得深度学习的理论就是数学,理论根本不能有任何实践产出,何必研究理论呢?还不如写网页前端或者做个手机App呢。
我今年听了Philip Thomas(菲利普·托马斯)的一个讲座,讲的是安全增强学习(Safe RL),这个讲座讲了一个案例,他们想要通过增强学习来自动调解糖尿病病人的给药泵,这个泵给药给多了,病人就要截肢,给少了病人就要直接休克死。高不成低不就的典型代表。目前这种泵的算法是一个简单的微分方程,能保证不会少给药,但是经常会多给药,导致很多重度糖尿病都要被截肢。
菲利普的这个项目就是要尝试着用增强学习来得到一个优良的自动调整模型。这个项目立意很好,救人一条腿胜造七级浮屠嘛,但是菲利普问了在座的我们一个问题:“你们知道现在这些增强学习的算法,需要多少次试验才能调出一个成功的模型吗?”
需要上百万次参数调整后,才能得到一个很好的模型。你总不能对几百万糖尿病患者说:“为了所有现在以及未来的糖尿病患者,你们去死吧。” 而且更重要的是,增强学习算法经常不能保证每一次参数改变后都能让模型变得更好:
这就像是说,我不知道这一颗药让你更健康还是让你死掉(或截肢),但是为了实验效果,你最好给我吃下去。
为了真正的把增强学习应用在医疗领域,需要通过概率理论,通过各种Bound(边界)去证明一个算法能切实的每次都达到更好的效果。这就是理论对工业界的指导,也是理论在应用领域的胜利。
每个机器学习的领域,不论是自然语言处理、机器视觉、机器人其实都是这样的人才紧缺规律,找到自己最适合的缺口才是最重要的。这可以是能够将一个算法高度并行化,在上百块GPU上运行的工程人才,也可以是在高危领域(比如无人驾驶、医疗)保证安全第一的理论人才。这两块区域在未来的3-5年内都会急缺人才。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10