数据科学家的工作性质,以及面临的挑战
托马斯.库恩在《科学革命的结构》中指出,范式(paradigm)是一个群体共享的信仰、价值和技术等等。科学范式指的是科学发现中赖以运作的理论基础和实践的规范,是科学工作者们所遵从的普适的世界观和行为方式。它代表了人类思维的方式和根基,也是交流科学知识时所默认的共有法则。在历史上,人类先后经历了经验、理论和计算的三个范式。基于铁球比羽毛更快落地的观察,亚里士多德总结说越重的物体降落越快,这就是最典型的基于经验的科学发现的范式。而在被无法阻挡的数据洪流冲击的今天,人们发现传统的三种科学发现模式已经不能在一些领域发挥有效的作用,比如分子生物学,社会科学。于是,图灵奖的获得者Jim Gray提出了著名的第四范式(The Fourth Paradigm),也就是数据思维或者数据科学。由此,数据科学家也成为了第四范式的实际践行者这个群体的统称。在这片文章里,咱们来探讨一下数据科学家跟科学的关系,他们的工作性质,以及面临的挑战等等。
早前,在港科大计算机系读博士的时候听教授这样调侃,大意是:只有那些不能严格被算为科学而又想挤进科学的学科,才会在命名的时候加上“科学”二字作为后缀,比如计算机科学。这么算来,数据科学家就是一群很难算得上很科学的人,到底是不是这样呢?
在《大数据研究的科学价值》这篇文章里,李国杰院士给出了确定的结论:数据科学是关于数据的科学。尽管在现阶段,作为客观事物间接存在形式的“数据界”仍然依赖于各个领域的“物理世界”,其究竟有什么共性问题还不清楚。但是,过去的研究已经表明,不同领域的数据分析方法和结果存在一定程度的普适性。比如,电网数据分析的算法也可应用于供水和交通管理上。所以,数据科学目前还处在先做“白盒研究”的阶段,也就是说数据科学家们至少在5-10年内,还需要先协助其他领域的学者解决大数据带来的技术挑战问题。等到知识积累多了,很可能在“数据界”抽象出通用性较强的“黑盒模型”和普适规律。李院士指出,数据科学的发展很可能类似与数据库理论的建立:在经历了层次数据库、网状数据库多年实践之后,柯德发现了数据库应用的共性规律,建立了有坚实理论基础的关系模型。从而有力的证明了数据库中存在的共性理论。
在笔者十年的数据分析经历中,利用机器学习的各种模型,包括决策树、随机森林、贝叶斯网络、SVM等等,处理过分类、聚类、相关性分析等数据挖掘问题。而这些问题又是来源于中医、市场营销、计算广告学、社会学等截然不同的领域。可能在相当长的阶段,我们都是要为各个领域的业务服务,从解决目标领域的问题中来积累经验,帮助提炼数据思维中的共性问题。
权威杂志《哈佛商业评论》宣布,数据科学家是二十一世纪最性感的职业。所谓性感,既代表着勾动人心的诱惑,又说明大家还不明确它干的到底是什么。
在现阶段,数据科学家的工作是很务实的。LinkedIn的首席数据科学家Manu Sharma在TiE Summit上接受采访时说,数据科学家的工作包括,采集数据,整理数据,建立正确的模型,测试模型,还要有一定的编程能力。通过这一系列工作,数据科学家开发出的数据应用不仅仅帮助开发创新的数据产品,从内部数据发现趋势和机会,更重要的是能推动LinkedIn的业务增长。回顾自己在数据分析领域所做的种种工作,笔者总结了数据科学家主要的工作为几个方面:
1. 数据的处理平台的搭建:包括公司的基础数据平台以及各个具体业务线的指标数据和日志数据平台。此步的设计和技术选型严重依赖于后两步的分析需求。
2. 历史数据的分析挖掘:包括跟各种产品线相关的业务分析,用户画像,用户行为分析,用户留存分析等等。类似的分析可以以图标或其他可视化的方式展现,目的是让业务决策者对于现状有清晰、系统、完整的认识,从而辅助其做出下一步的动作(action)。
3. 数据驱动的预测性分析:比如建立推荐模型并且利用模型对于未来的情况进行预测。在计算广告里面,点击率预估(CTR)模型就是能被用来给特定的人和场景推荐合适的广告。这一部分的工作是大数据挖掘下最有意义的工作,也是和产品线联系最紧密的部分。
不管数据科学家现在的工作范畴到底是如何界定,最近几年这个岗位的需求数量快速攀升。如今,所有规模的企业都在探索从大数据中挖掘出有价值的信息和可以转化成行动的洞察力。数据科学家具备从大数据掘金的能力,能为各行业的数据包括医疗数据、移动设备数据、社交媒体流数据等进行预测,带来巨大的商业价值。在未来5年数据科学家这一领域人才将出现供不应求的局面。McKinsey报告指出去年大数据强有力的增长。McKinsey同时预测在未来6年,仅在美国本土就可能面临缺乏14万至19万具备深入分析数据能力人才的情况,同时具备通过分析大数据并为企业做出有效决策的数据的管理人员和分析师也有150万人的缺口。
Kaggle是一个供数据科学家大显身手的众包平台,在这个平台上,数据科学家们可以看到真实的预测性分析需求和业务数据,选择感兴趣的作分析,并且能看到自己的分析效果的实时排名。Kaggle总裁兼首席科学家Jeremy Howard认为一个伟大的数据科学家应具备创新、坚韧、好奇、深厚技术这四项素质。具备数据收集、数据改写、可视化、机器学习、计算机编程等技术的数据科学家使数据驱动决策并主导产品。他们更喜欢用数据说话。
我们看到,为了进行大数据的分析,我们首先面临知识范畴的挑战:数据科学家需要有数据库系统及数据管理的知识来应对大量数据的导入和存储;同时必须掌握机器学习中的算法和模型处理预测性的需求;在整个过程中,统计学的概念和人工智能的理论都是指导我们选择正确、合适的分析方法和对分析结果进行评估的重要依据。所以,Bitly首席科学家HilaryMason认为数据科学家是融合数学、算法,并可从大数据中寻求问题答案的人。
相对于知识而言,理念上的突破对于数据科学家显得更为重要。很多数据科学家都具有深厚的统计学背景,而统计学的目标是从各种类型的数据中提取有价值的信息,给人以后见之明,但不强调对事物的洞察力(insight),不强调深度的知识。所以,如何从固有的统计思维突破到数据的思维,就是一大挑战。举例来说,在大数据分析领域,我们更多关心事物的相关性或者关联性。与传统的逻辑推理研究注重条件和结果之间的因果关系不同,相关分析是为了找出数据集里隐藏的相互关系网,一般用支持度、可信度和兴趣度来衡量。大数据分析的巨大驱动是商业盈利。就像在著名的啤酒尿布的例子中,可以这种相关性来采取措施增加企业利润,而不用去深究背后的内在规律和机制。
除此之外,交流合作的能力也是数据科学家普遍需要解决的自身问题。这儿的交流不仅仅指的是数据科学家内部的知识分享,技能学习,更重要的是向业务人员、运营同事、领域专家的虚心请教和学习。唯此,我们才能更清楚业务的需求,了解现有数据的特性和不足,再此基础上开发出针对性的数据产品。所以,分析人员不仅仅要醉心于技术,更要走进业务去采风,一方面普及数据挖掘的知识和功能,一方面收集需求。
图灵奖获得者Jim Gray在总结了科学研究在人类历史上所先后经历的实验、理论和计算三个范式之后,提出了基于数据而思维的第四范式(The Fourth Paradigm)。在数据的洪流无法阻挡的今天,传统的科学模式确实不能在一些领域发挥有效的作用。而实际的业务场景中,经验+感觉的方式也必将会被数字+事实的决策所取代。所以,数据科学家们,让我们行动起来,为实现基于数据的探索(data exploration)和数据驱动的业务(data-drivenbusiness)努力吧。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12