大数据是一种方法论_数据分析师考试
忽如一夜春风来,无人不谈大数据。当然,它有足够的理由值得被探讨,伴随着技术的迅猛发展,人类的数据也在以指数级增长――最近两年,人类产生的所有数据量是2010年以前的总和。而以下这个知名结论似乎也已不证自明:“在未来,数据将会像土地、石油和资本一样,成为经济运行中的根本性资源。”
作为阿里巴巴集团副总裁、数据委员会会长,车品觉无疑是探讨大数据的好人选。不同于雨后春笋般冒出来的“大数据专家”,车品觉属于大数据实践方面的先行者。“大数据成了人们竞相争议的热词,但鲜有人提及这巨大变革中需要具备的能力。也许,我们早该忘掉那些华而不实的喧嚣,让大数据真正从‘看’到‘用’,真正‘活’起来。”他这样总结道。
方法论
不久之前,车品觉把公司的商业智能部门,改成了数据技术与产品部。“这是我响应了马总DT的战略。”――此前,马云在内部信件中明确了阿里未来的战略:以走向激活生产力为目的的DT(datatechnology)数据时代。“现在大部分公司都是中央管理数据,然后报告做出来给业务部门去用。在阿里我们的痛苦是,发现我的部门越来越多,但如果业务部门越来越不能直接使用数据,很难成为一个数据化公司,所以我把BI(商业智能)部门干掉,用另外一个方法来处理今天数据的理念。”车品觉说。
就在此刻,无数人正在成为大数据的提供者和受益者。那么,究竟何为大数据?相比明确的定义,大数据似乎更像一种方法论。无论是塔吉特百货“比父亲更早一步获悉女儿怀孕了”,还是沃尔玛“啤酒与尿布”的故事,这些营销经典案例都在表明:大数据的关键不是“量大”,而是“全面”――用多维手段记录消费者的行为迹象,如同让侦探一直住在电脑和移动终端里,通过对信息的交叉比对从而形成决策。“一切都被记录,一切都被数字化”是时代的核心理念。
你能想象阿里巴巴数据的海量。据报道,目前在阿里数据平台事业部的服务器上,攒下了超过100PB已处理过的数据――也就是104857600个GB。这相当于4万个西雅图中央图书馆,580亿本藏书。阿里巴巴已沉淀了包括交易、金融、SNS、地图、生活服务等多种类型的数据,当这些数据之间相互关联,将产生巨大的能量。
变革与爆发
互联网已经令工业文明积攒下的不少经验分崩离析,而大数据则又是一记重拳。“我们都是有问题找数据,大数据时代则不同,其最核心的特质是‘用数据找机会’”车品觉在书中写道。
大数据降低了决策成本,让人们在一定程度上绕开因果和理论,直奔应用环节。美国《连线》杂志主编克里斯・安德森甚至早在2008年就已断言:数据的洪流或将带来理论的终结。“面对大规模数据,科学家‘假设、模型、检验’的方法变得过时了。”
事实上,这并非人类第一次经历信息风暴,也一定不是最后一次。“大数据远未到它的爆发点。未来,数据的种类将超出我们的想象。”车品觉写道,“今天的大数据就是明天的小数据。”几乎可以肯定,未来人们所接受的服务,将以更加数字化和个性化的方式呈现。“未来人类的身上流动着的是血液以及数据。”
车品觉这样解释:“以前的数据更多集中在外部行为监控上,不论是网络购买行为,还是网上社交行为,都是用户在‘远距离’提供数据,即便这样,我们仍然还没有运用好这些数据。随着可穿戴式设备的出现,数据和人将真正融为一体,类似谷歌眼镜这样的设备,将让我们看到的东西即时数据化;类似健康手环类设备和可以深度收集脑电波数据的设备,将随时会使人体的活动转化成数据。
目前,记录睡眠状况只是其初步的应用,在不远的未来,用数据记录我们每一秒钟的生活也将成为可能。当万物皆数据的时刻到来,商业发展的更多新机会将会出现,数据将帮助我们更好地做出判断,比如什么时候最适合吃饭、什么时候身体疲惫适合睡觉和什么时候记忆力最好等,这些都能通过数据来进行预判。甚至于,当记录了人的足够数据之后,数据就可能告诉我们此时此刻应该做些什么及最佳的策略。”
如此看来,大数据似乎在一定程度上满足了人类预测未来的远古奢望(著名物理学家巴拉巴西则在《爆发》中指出“人类93%的行为可以预测”)。但正如车品觉所言:“大数据的本质是人,数据研究的极点就是莫测的人性。”莫测也许就意味着盲点。数据的确定性和人性的不确定性,或许是平衡未来人类行为天平两端的砝码。
大数据的边界
记者:我了解到,在现阶段,很多企业在面对大数据时是将信将疑的态度,这是什么原因?
车品觉:第一是不知道如何起步。很多企业只知道大数据现在很重要,但却不知道如何去实现。以企业的BI(商业智能)部门为例,是否应该有个BI部门,BI部门能为企业做什么,以及这个部门应该怎么去做?这几个问题对很多企业来说答案都是不清楚的,这必然会导致企业对大数据存在疑问。
还有一部分企业,虽然本身有BI部门,但可能连一些KPI指标都不一定能定得好,他们在企业中所扮演的角色通常是支持部门,而非创新部门。当大数据来临时,如果突然让这个部门的角色转变成为创新部门,他们肯定在一时之间难以转换;第二是人才不匹配。不知如何起步同时也与人才不匹配的问题相关联,如果企业连BI部门是否该存在以及如何定位都不清楚的话,必然也不知道吸引什么样的人才以及如何去用;第三是没有数据收集策略。过去,企业大部分是在用数据,有什么数据就用什么。但现在,企业需要转型到“你需要什么数据,收集数据的目的是什么?”尽可能比较前瞻的数据策略,而不能在需要用数据时再去看自己有没有。
对于企业来讲,首先要明白,自己有什么,然后再根据自己所拥有和自己缺乏的,去做相应策略调整。比如有数据的可以通过吸引人才来丰富自己的数据技术水平,而有技术没有充足数据的,则可以通过合作来完善数据。
记者:在一些企业,采集数据的人和使用数据的人往往是分开的,这会带来什么影响?
车品觉:在我的新书里面,有一章提及到这个问题。“目前在大数据方面,无法深入应用的原因在于,从收集到使用的数据价值链出现了问题。从理论上来说,从收到用的螺旋式循环,只有在先用好数据的前提下,然后才能运营数据。而现在的情况是,用数据的人不知道数据从哪里来,做数据的人不知道数据如何使用。用的人用得不好,采集数据的人很难做好数据。这一问题造成的结果就是,数据量变得越来越大,而且越来越困难有效地使用。”从用到养,从养到用的闭环可以使数据“活”起来,数据与商业场景的互动才可以确保企业不因为数据而数据。
记者:数据收集存在所谓的“边界”吗?
车品觉:大数据的收集很难定义边界。因为,大数据的应用讲求创新以及跨界。所以我主张以企业自身的业务需要建立数据收集策略。首先,企业得先清楚知道,什么样的数据对你来说是重要的。其次,再去寻找这个数据在哪里。然后,再因此去建立数据收集策略。而这个时候,你才有可能知道数据收集的一个相对有点轮廓的边界。但是,这个边界并非是具象的,而是动态的。
数据无所不在
记者:如何培养一名数据分析师的商业敏感性?
车品觉:我认为,首先不要强调“数据”分析师,分析师的本质就是对商业的敏感性,培养分析师最重要的是“混”在商业场景中,然后才用数据去洞察对错。做个好的分析师还要把自己作为分析对象,从错判中找出正判。最后还要注意数据切勿滥用,数据是一种信仰。分析师最主要的是分析,数据只是其中的一种方式。如果过于强调数据分析师的话,反而会失去分析师的本质。
记者:能否分享一下你个人最得意的一个数据分析案例?
车品觉:小卖家的成长案例――对于小卖家来说,很容易出现一个问题:你能接待的客户有多少个?我们通过数据发现,小卖家随着接待的客户量的增长,会出现一个营收的临界点。在临界点之前,客户量越多,卖家的营收就越高;而在过了临界点之后,营收反而是随着客户量的增加而减少的。这个分析能够给予小卖家以一定指导:对于他们来说,需要了解自己在发展过程中,那个临界点在哪里,以及如何去改善。
记者:有观点认为,大数据时代的来临,将人类从探寻因果关系的逻辑中解放,你怎么看?
车品觉:中国人的思想特别强调每件事情的本质与现象,数据挖掘可以从大量数据的现象中找出事情发生的规律,但要充分理解一件事情的现象也需要从本质出发去洞悉变化。
记者:可穿戴设备,包括未来更先进的人工智能,甚至随着人类对大脑活动认知的全面理解,将迎来一个数据无所不在的世界,你对此有何展望?
车品觉:有了大数据之后,人工智能会有一个比较大的突破。未来,人会越来越懂得利用机器来帮助改善今天的生活和工作。也许目前我们比较的是自我的能力,在将来,人与人之间的竞争比较的是机器的能力而非个人的IQ能力。而人工智能的重要原材料也是数据。就像在原始社会,人与动物最关键的差别之一是,人类懂得使用工具。而从现代社会进化到data时代,与现在区别在于,未来人类不仅懂得用工具,还要懂得用和营运数据。
数据分析咨询请扫描二维码
数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21大数据技术专业主要学习计算机科学、数学、统计学和信息技术等领域的基础理论和技能,旨在培养具备大数据处理、分析和应用能力的 ...
2024-11-21