8月14日,腾讯网在正院会馆举办了一场夏季思享会,而这次思享会的主题就是“大数据”。有意思的是,这次关于大数据的分享会请到了来自各个领域的学者和专家,是一场跨学科的思想碰撞。在现场的我听完了整场分享,有趣的观点不少,还有一些观点是目前国内关注大数据的人们不太提及的,非常思辨。在这里,我也跟大家分享一些来自思享会上的有趣观点。
海量数据的应用正在改变我们现有的生产方式,其不仅成为了一个重要的生产要素,还在一定程度上提高了生产效率。这时,海量数据应用带来的信息风暴不仅影响到我们的工作、生活,还可以逐渐影响我们的思维方式。有人说大数据本身是一场革命,这场革命就是把“量化”这个概念推动到我们生活中的方方面面。
1、关于大数据带来的机遇可以说是学界业界一致认同的,而北大新闻与传播学院的刘德寰教授却提出,大数据也可以是“大忽悠”,甚至存在大风险。
大数据就一定是全数据吗?
即使是像BAT这样的互联网巨头,他们所拥有的数据也只是一座”数据孤岛“。因此,很多大数据其实是断裂且封闭的。在这一座座孤岛被打破之前,大数据都无法称”全“。这种大而不全的数据导致我们无法真正获得想要的规律。
大数据也许会带来“假规律”和“伪相关”
虽然关于大数据的介绍和分析都告诉我们,大数据注重的是“相关关系”,而非“因果关系”,但是,如果只注重相关关系,数据量的增加将不可避免的带来伪相关的现象。当数据量达到几十万之巨之后,只会导向“万物相联系”这一结论。这时,所选取的变量都会呈现为统计显著,而这样的数据分析无疑就失败了。因此,即使大数据现在备受推崇,但传统的抽样调查和实验等社会学研究方法也不应该被抛弃,而应该结合使用。
《大数据时代》的译者周涛也回应了这个观点:从技术层面上来看,我们的确需要找到因果关系。一方面,有的关联如果没有因果在背后是很难被发现的;另一方面,因果能够帮助我们更好的解释和分析相关。
大数据离不开对“人性”的理解
大数据的挖掘过程也需要注入思想,这种思想就体现为“人性”。统计数据不能代替对人性的理解,真正进行跟人相关的大数据挖掘的时候一定要关注人性,这个时候的算法和建模才是有针对性、有意义的。怎样在数据中注入人性?观察、实验、调查等传统的研究方法都是很好的选择。比如,乔布斯就经常躲在苹果体验店外没人看得见的地方观察体验店里的人的行为,这是最早期的研究方法,在拥有大数据的今天还在使用是有一定原因的。一句话:诸如“体会、体验、直觉、灵机一动、内省”这些看似与大数据无关的东西有可能恰恰就是大数据的核心。
大数据+小应用的趋势
所谓大数据的小应用,就是把大数据应用到各个独立领域中去。大数据运算本身构造了一个拥有更多能力的“新算盘”,拥有这个新算盘不意味着拥有一切,而是有了一个可以在各个领域使用的科学的工具。怎样做好大数据的小应用?有两个方面:第一,大数据与小数据结合,这个小数据就是基于抽样调查的数据;第二,来自各个独立领域的专业知识非常重要,比如以心理学、法学、社会学、营销学等混合知识作为背景,再去跟数据结合,就能够探索出一个更科学的大数据分析和挖掘的方式。
2、关于大数据的产业应用,华大基因的董事长汪建表达了自己的看法:基因研究是一项很少被人了解的产业研究,但却是真正的大数据应用。
怎样有效的预测疾病、怎样降低传染病的发病率,这些都需要依靠于基因研究。人身体中的细胞数量有10的14次方个,而一个细胞的癌变就可能导致生命的终结。这一个癌细胞分解为RNA后就是10的9次方,变成蛋白质则是10的19次方,这么大的数据量足以构成大数据,而基因研究面对的就是如此量级的数据研究和应用。
以对肿瘤细胞的定性、定量研究为例。首先,要知道肿瘤细胞现在的基因是怎样的,而当出现一两个基因变化的时候,细胞又会变成什么样。其次,当众多肿瘤细胞的基因变化构成了相当量级的数据之后,我们就能通过数据来展现细胞癌变的动态变化过程,从而进一步预测疾病。这样的研究如果用在先天性疾病的防治上将更有意义,这样有出生缺陷的婴儿会越来越少。华大在推进的”百万人基因计划“,就是一个名符其实的大数据应用。因此,汪建从基因研究出发,表达了自己对大数据的理解:从大目标出发,践行大数据,实现大科学,从而将研究成功运用到各个领域中去,形成大产业。
3、关于“新技术给我们的生活带来了什么”这个话题,北大哲学系教授吴国盛给出了一个让我很认同的观点:技术本身并不是价值中立的,它有着自身的逻辑和属性,而这就使得我们在使用新技术时,也必须接受新技术的内在逻辑,而这就将改变我们原有的生活方式。
过去,我们认为技术是中性的,它是人类的使用工具,怎么使用它取决于人类自己,但事实并非如此。技术有着自己的自主性、自己的结构,某些技术必定指向某些事情。比如,互联网是一种基于民主意识形态的技术配置,网民相对平等的分配信息,共同分享信息,所以这样的技术发源于美国,而不是中国。而当互联网进入中国之后,人们除了享受互联网带来的便捷高效,还要被迫接受互联网世界中民主、平等、开放的意识形态,这是根植于互联网技术中的。因此,虽然国内建起了互联网高墙,但翻墙一事也是轻而易举,这就是互联网的内在逻辑决定的。
4、关于大数据与社会变革这个不太被提及的话题,来自不同领域的专家们都从各自的领域出发分享了自己的感受。
《大数据时代》的译者周涛认为,大数据更高级的阶段应该是数据的集成与共享,并把集成和共享本身作为一种商业模式。
他举了一个通过大数据帮助全球能源更好的进行配置的例子。首先,周涛所在的电子科大与电力集团达成合作,通过大量遥感装置和本地勘探数据了解到各个国家的能源供需情况。其次,通过与气象局合作获得气象数据,包括日照、风速风向、降雨等,从而对太阳能、风能、水能等新能源做到短期预测,并实现能源负载平衡。而这些数据若再与电力集团的数据进行集成和分享,就能将各项能源更有效的调配使用。
专栏作家安替则谈到一个问题:大数据是有阶级性的,大数据时代也许是一个新的政治革命诞生的时代。
之前,社科院农发所社会问题研究中心主任于建嵘说过大数据让每个人变得更加透明,我们生活中的各种行为将通过数据被采集,并且分析出来,因此普通老百姓可以说是没有秘密的。然而,这些数据却不是普通老百姓可以看到或使用的,真正拥有这些数据的是部分企业、机构和政府,普通用户只是大数据的提供者,这就是阶级的产生。
因此,在大数据时代,数据的拥有权是一个关键的问题。这跟资本在资本主义刚诞生时最原始的情况是相似的。如果我们说物质的匮乏造成资本的流动,资本主义的产生是一些企业崛起,并跟国家分享权力的话,我们也可以说大数据时代恰会湿一个新政治革命诞生的时代。如果拥有大数据的人们不让民众分享大数据的成果,反而用大数据来控制民众(比如维稳),那也许会造成更大的国内冲突,甚至国际斗争。
社会学教授郭于华关心的是社会当中的普通人怎样面对和使用新技术,那么新技术是不是会缩小信息鸿沟和社会鸿沟?
她曾经做过一个研究:新生代农民工怎样使用信息技术。她对研究结论的预判是:新技术将有助于新生代农民工的社会融入、城市融入。事实上,新技术确实给他们的生活带来了改变:其一,农民工是一个公共生活缺失的人群,信息技术给他们相互之间的交流带来了很多便利;其二,新媒体给了他们表达的渠道,这是以往所不曾有的;其三,他们可以通过新媒体即时调用各种所需要的信息,更加了解这个世界。
但即便如此,我们也不能过分夸大信息技术对弱势群体的作用,因为它确实呈现出比较强的马太效应:强势着可以更好的、更有利的利用这些新技术,同时他们也会对其他人加以控制。所以,新技术有没有可能穿透社会结构的屏障才是关键的问题。
其实,像郭于华教授这样的调研,也是创业者们需要的。比如“豌豆荚”就曾经派人去东莞的工厂里做调研,了解打工族们对智能终端和移动应用的真正需求。感兴趣的人可以点此阅读调查结果。
关于大数据和新技术,其实除去技术层面的研究和应用,在与历史、 社会、人文等学科交叉的过程中还将引发很多话题,希望以上这些观点能给大家带去一点不一样的思考。(本文由:CDA数据分析师)
数据分析咨询请扫描二维码
统计学基础 - 理解统计学的基本概念和方法是数据分析师必备的技能之一。统计学为他们提供了处理数据、进行推断和建模的基础。 数 ...
2024-11-25数据分析是当今社会中不可或缺的一项技能,涵盖了广泛的工具和技术。其中,掌握各种数据处理函数对于数据分析师至关重要。本文将 ...
2024-11-25“大数据治理”是一个涵盖广泛的复杂概念,其核心在于确保大规模、多样化的数据资源能够被有效管理和利用。不仅涉及数据的采集、 ...
2024-11-25一、引言 背景介绍 随着信息技术的快速发展和互联网的普及,大数据已经成为现代社会的重要资产。大数据的兴起不仅推动了各行各业 ...
2024-11-25《Python数据分析极简入门》 第2节 7 Pandas分组聚合 分组聚合(group by)顾名思义就是分2步: 先分组:根据某列数据的值进行 ...
2024-11-25数据分析需要学习的内容非常广泛,涵盖了从理论知识到实际技能的多个方面。以下是数据分析所需学习的主要内容: 数学和统计学 ...
2024-11-24数据分析师需要具备一系列多方面的技能和能力,以应对复杂的数据分析任务和业务需求。以下是数据分析师所需的主要能力: 统计 ...
2024-11-24数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。以下是根据我搜索到的资料整理出的数据分析师需 ...
2024-11-24《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22