我们无须更多的数据科学家 只须降低大数据使用门槛
这个国家急缺数据科学家”,目前几乎所有关于大数据的文章都提出了这么一种观点。广受热议的McKinsey公司2011年度调查指出许多机构即缺少对大数据有深刻洞见和理解的人,也没有运用大数据来做出明智决断并执行的动力。
然而在这些讨论中有些东西似乎被忽视了,那就是如何打破瓶颈进而使得大数据能够直接为企业家们所用。我们曾经在软件工业中做到过这一点,我们能够再次做到。
为了达成这个目标,透彻理解数据科学家在大数据中所扮演的角色是很重要的。目前,大数据是一个熔炉,分发着数据结构以及类似Hadoop、NoSQL、Hive以及R这样的工具。在这个技术含量非常高的环境中,数据科学家的工作就像是系统与那些来自不同领域专家之间的门卫与调解人。
虽然有点难以概括,但基本上数据科学家发挥着三种作用:数据架构、机器学习以及数据分析。虽然这些职责很重要,但事实上不是每个公司都需要一个像Google或者Facebook有的那种高度专业的数据团队。关于创造符合目标产品以及剔除技术复杂性的解决方案可以使大数据为商家所用。
随便举个例子,想想发生在世纪之交的网络内容管理革命吧。网站成了一时的时尚,但是各领域专家们却遭遇了源源不断的麻烦,因此我们有了一个瓶颈。所有网站上新的内容都需要IT编辑去编排内容甚至硬编码。那最后又是怎么解决的呢?我们把网络内容管理系统中所需要的核心内容概括并提取出来,然后把它们做成不懂技术的人也会用的模式。
让我们以电子商务为背景,稍微深挖掘一下现今的数据科学家所扮演的角色吧。
用数据架构降低复杂性
缩小范围是降低复杂性的关键。几乎所有的电子商务业务都对获取用户行为感兴趣——预约、购买、线下交易以及社交数据,几乎以上每一项都有目录及客户档案。
对这些基本功能限制范围可以使我们创建标准数据录入的模板,使得数据获取及连通更为简单。我们也需要找到打包不同数据结构与工具(现今包括Hadoop、Hbase、Hive、Pig、Cassandra and Mahout)的有意义的方法。这些数据包必须要符合目标要求,归结起来就是80/20法则:80%的大数据使用方法(所有电商业务需要的全部),可以用20%的努力和技术实现。
巧用机器学习
在机器学习上我们当然需要数据科学家,对吗?好吧,如果你有非常个性化的需求的话,或许对吧。但大部分需要用到大数据的标准需求,比如推荐引擎及个性化系统,都可以被提取出来。举例来说,数据科学家工作的一大块内容是制作“特征”,这是在数据录入里面使得机器学习更有效率的一种东西。我们想一下,所有的数据科学家都要把数据塞进机器并启动它们,那事实就是机器需要人们帮它们指出正确看待世界的方式。
然而,在每一个领域基础上的特征创建都是可以被模板化的。例如每个商务网站都有购买流以及用户分割这些概念。如果各领域专家们可以直接把他们在各自领域的想法和理念直接编码到系统里呢,是不是就可以避开作为中间人及翻译的科学家们了呢?
借用数据分析工具
从数据中自动提取那些最有价值的信息从来都是不容易的。然而,有一些获取特定领域观点的办法可以使商家们更像一个数据科学家去行动。这似乎是最容易解决的一个问题,因为市面上已经有了各种领域的分析产品。
但这些产品目前对各领域专家们来说还是限制太多门槛太高。绝对还需要一个更加友好的界面。我们也需要将机器如何通过分析结果学习放入考虑的范畴。这是非常关键的一个反馈系统,商家们希望把修正放进这个系统中。这也是另一个可能提供模板化界面的地方。
就像我们在内容管理系统中学到的那样,这些方法不能够在任何时间解决任何问题。但将这些技术型解决方案运用在一系列更广泛的数据问题上将会减轻数据科学家们遭遇的瓶颈。当各行业专家能直接用机器学习系统工作时,我们可能就进入了一个能够相互学习的崭新的大数据时代。或许到那时候大数据能解决的问题才会多于它所引起的问题。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01