跨学科对话下的大数据思辨_数据分析师
8月14日,腾讯网在正院会馆举办了一场夏季思享会,而这次思享会的主题就是“大数据”。有意思的是,这次关于大数据的分享会请到了来自各个领域的学者和专家,是一场跨学科的思想碰撞。在现场的我听完了整场分享,有趣的观点不少,还有一些观点是目前国内关注大数据的人们不太提及的,非常思辨。在这里,我也跟大家分享一些来自思享会上的有趣观点。
海量数据的应用正在改变我们现有的生产方式,其不仅成为了一个重要的生产要素,还在一定程度上提高了生产效率。这时,海量数据应用带来的信息风暴不仅影响到我们的工作、生活,还可以逐渐影响我们的思维方式。有人说大数据本身是一场革命,这场革命就是把“量化”这个概念推动到我们生活中的方方面面。
1、关于大数据带来的机遇可以说是学界业界一致认同的,而北大新闻与传播学院的刘德寰教授却提出,大数据也可以是“大忽悠”,甚至存在大风险。
大数据就一定是全数据吗?
即使是像BAT这样的互联网巨头,他们所拥有的数据也只是一座”数据孤岛“。因此,很多大数据其实是断裂且封闭的。在这一座座孤岛被打破之前,大数据都无法称”全“。这种大而不全的数据导致我们无法真正获得想要的规律。
大数据也许会带来“假规律”和“伪相关”
虽然关于大数据的介绍和分析都告诉我们,大数据注重的是“相关关系”,而非“因果关系”,但是,如果只注重相关关系,数据量的增加将不可避免的带来伪相关的现象。当数据量达到几十万之巨之后,只会导向“万物相联系”这一结论。这时,所选取的变量都会呈现为统计显著,而这样的数据分析无疑就失败了。因此,即使大数据现在备受推崇,但传统的抽样调查和实验等社会学研究方法也不应该被抛弃,而应该结合使用。
《大数据时代》的译者周涛也回应了这个观点:从技术层面上来看,我们的确需要找到因果关系。一方面,有的关联如果没有因果在背后是很难被发现的;另一方面,因果能够帮助我们更好的解释和分析相关。
大数据离不开对“人性”的理解
大数据的挖掘过程也需要注入思想,这种思想就体现为“人性”。统计数据不能代替对人性的理解,真正进行跟人相关的大数据挖掘的时候一定要关注人性,这个时候的算法和建模才是有针对性、有意义的。怎样在数据中注入人性?观察、实验、调查等传统的研究方法都是很好的选择。比如,乔布斯就经常躲在苹果体验店外没人看得见的地方观察体验店里的人的行为,这是最早期的研究方法,在拥有大数据的今天还在使用是有一定原因的。一句话:诸如“体会、体验、直觉、灵机一动、内省”这些看似与大数据无关的东西有可能恰恰就是大数据的核心。
大数据+小应用的趋势
所谓大数据的小应用,就是把大数据应用到各个独立领域中去。大数据运算本身构造了一个拥有更多能力的“新算盘”,拥有这个新算盘不意味着拥有一切,而是有了一个可以在各个领域使用的科学的工具。怎样做好大数据的小应用?有两个方面:第一,大数据与小数据结合,这个小数据就是基于抽样调查的数据;第二,来自各个独立领域的专业知识非常重要,比如以心理学、法学、社会学、营销学等混合知识作为背景,再去跟数据结合,就能够探索出一个更科学的大数据分析和挖掘的方式。
2、关于大数据的产业应用,华大基因的董事长汪建表达了自己的看法:基因研究是一项很少被人了解的产业研究,但却是真正的大数据应用。
怎样有效的预测疾病、怎样降低传染病的发病率,这些都需要依靠于基因研究。人身体中的细胞数量有10的14次方个,而一个细胞的癌变就可能导致生命的终结。这一个癌细胞分解为RNA后就是10的9次方,变成蛋白质则是10的19次方,这么大的数据量足以构成大数据,而基因研究面对的就是如此量级的数据研究和应用。
以对肿瘤细胞的定性、定量研究为例。首先,要知道肿瘤细胞现在的基因是怎样的,而当出现一两个基因变化的时候,细胞又会变成什么样。其次,当众多肿瘤细胞的基因变化构成了相当量级的数据之后,我们就能通过数据来展现细胞癌变的动态变化过程,从而进一步预测疾病。这样的研究如果用在先天性疾病的防治上将更有意义,这样有出生缺陷的婴儿会越来越少。华大在推进的”百万人基因计划“,就是一个名符其实的大数据应用。因此,汪建从基因研究出发,表达了自己对大数据的理解:从大目标出发,践行大数据,实现大科学,从而将研究成功运用到各个领域中去,形成大产业。
3、关于“新技术给我们的生活带来了什么”这个话题,北大哲学系教授吴国盛给出了一个让我很认同的观点:技术本身并不是价值中立的,它有着自身的逻辑和属性,而这就使得我们在使用新技术时,也必须接受新技术的内在逻辑,而这就将改变我们原有的生活方式。
过去,我们认为技术是中性的,它是人类的使用工具,怎么使用它取决于人类自己,但事实并非如此。技术有着自己的自主性、自己的结构,某些技术必定指向某些事情。比如,互联网是一种基于民主意识形态的技术配置,网民相对平等的分配信息,共同分享信息,所以这样的技术发源于美国,而不是中国。而当互联网进入中国之后,人们除了享受互联网带来的便捷高效,还要被迫接受互联网世界中民主、平等、开放的意识形态,这是根植于互联网技术中的。因此,虽然国内建起了互联网高墙,但翻墙一事也是轻而易举,这就是互联网的内在逻辑决定的。
4、关于大数据与社会变革这个不太被提及的话题,来自不同领域的专家们都从各自的领域出发分享了自己的感受。
《大数据时代》的译者周涛认为,大数据更高级的阶段应该是数据的集成与共享,并把集成和共享本身作为一种商业模式。
他举了一个通过大数据帮助全球能源更好的进行配置的例子。首先,周涛所在的电子科大与电力集团达成合作,通过大量遥感装置和本地勘探数据了解到各个国家的能源供需情况。其次,通过与气象局合作获得气象数据,包括日照、风速风向、降雨等,从而对太阳能、风能、水能等新能源做到短期预测,并实现能源负载平衡。而这些数据若再与电力集团的数据进行集成和分享,就能将各项能源更有效的调配使用。
专栏作家安替则谈到一个问题:大数据是有阶级性的,大数据时代也许是一个新的政治革命诞生的时代。
之前,社科院农发所社会问题研究中心主任于建嵘说过大数据让每个人变得更加透明,我们生活中的各种行为将通过数据被采集,并且分析出来,因此普通老百姓可以说是没有秘密的。然而,这些数据却不是普通老百姓可以看到或使用的,真正拥有这些数据的是部分企业、机构和政府,普通用户只是大数据的提供者,这就是阶级的产生。
因此,在大数据时代,数据的拥有权是一个关键的问题。这跟资本在资本主义刚诞生时最原始的情况是相似的。如果我们说物质的匮乏造成资本的流动,资本主义的产生是一些企业崛起,并跟国家分享权力的话,我们也可以说大数据时代恰会湿一个新政治革命诞生的时代。如果拥有大数据的人们不让民众分享大数据的成果,反而用大数据来控制民众(比如维稳),那也许会造成更大的国内冲突,甚至国际斗争。
社会学教授郭于华关心的是社会当中的普通人怎样面对和使用新技术,那么新技术是不是会缩小信息鸿沟和社会鸿沟?
她曾经做过一个研究:新生代农民工怎样使用信息技术。她对研究结论的预判是:新技术将有助于新生代农民工的社会融入、城市融入。事实上,新技术确实给他们的生活带来了改变:其一,农民工是一个公共生活缺失的人群,信息技术给他们相互之间的交流带来了很多便利;其二,新媒体给了他们表达的渠道,这是以往所不曾有的;其三,他们可以通过新媒体即时调用各种所需要的信息,更加了解这个世界。
但即便如此,我们也不能过分夸大信息技术对弱势群体的作用,因为它确实呈现出比较强的马太效应:强势着可以更好的、更有利的利用这些新技术,同时他们也会对其他人加以控制。所以,新技术有没有可能穿透社会结构的屏障才是关键的问题。
其实,像郭于华教授这样的调研,也是创业者们需要的。比如“豌豆荚”就曾经派人去东莞的工厂里做调研,了解打工族们对智能终端和移动应用的真正需求。感兴趣的人可以点此阅读调查结果。
关于大数据和新技术,其实除去技术层面的研究和应用,在与历史、 社会、人文等学科交叉的过程中还将引发很多话题,希望以上这些观点能给大家带去一点不一样的思考。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在职场上,拍脑袋做决策的时代早已过去。数据分析正在成为每个职场人的核心竞争力,不仅能帮你找到问题,还能提供解决方案,提升 ...
2024-12-24Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17