大数据为社会科学研究提供空间
“大数据”时代的来临,既给商业、管理和公共行政带来了众多机遇,同时也在社会科学界、人文学界引发讨论的热潮。随着大数据的出现和使用,整个社会科学研究的实证基础将会出现较大变化。“大数据”概念虽热,但社会科学界基于大数据的实证研究仍然较少。一方面,大数据往往为政府、大型公司或网络媒体所持有,数据获取渠道和分析方法都与传统的社会科学定量定性分析存在很大差异;另一方面,现有的大数据并非为社会科学研究而设立,其在样本代表性、测量可靠性、因果推断等方面受到学界的诟病。不过,随着数字化图书、社交网站和搜索引擎数据的不断积累与公开,大数据在社会科学研究中的潜力已经开始彰显。
提高预测和决策的准确率
凯恩斯与哈耶克的市场与政府之争是20世纪经济学界最为重要的论战之一。这两位经济学家在理论和政策主张上的差异,深刻影响了20世纪各国经济政策制定和改革。比如,在20世纪早期,哈耶克的自由市场理念一度占据支配地位。二战后到20世纪70年代凯恩斯主义的政府干预政策更多地被采纳。在哈耶克批评计划经济的非可行性和低效率过程中,一个立足点就是“有限理性”:哈耶克从认识论角度提出计划制定者无法了解经济运行中每一个阶段的最终均衡状态。这种经济运行过程中信息的瞬息万变,会导致不可能建立全能式的生产、决策和分配等。
不过,大数据的出现有可能对“有限理性”的观点形成新的挑战。尽管目前大数据并不能实时提供市场运行中的全部信息,但大数据的方向和现代信息技术的指数式增长,有可能为哈耶克的论敌以及凯恩斯主义者提供新的反驳证据:当未来大数据对市场运行中的信息捕捉达到了空前的覆盖和密度,那么预测和决策就有了比哈耶克时代甚至当代高得多的准确率。
拓展社会科学经典理论的验证空间
大数据作为一种全新的资料,以其超越传统调查数据的样本量和时间跨度,为社会科学经典理论的验证和拓展提供了更多空间。因此,大数据在延伸和重新检视经典学说方面有着相当大的潜力。比如说,经典时期的社会学家以其深刻的洞察力为人们留下了丰富的理论遗产,不过由于理论的宏观性和复杂性,通过传统的截面数据、面板数据等抽样样本的分析,无法在经验层次上对这些理论进行检验。而大数据的出现为当今的社会科学界提供了前所未有的大跨度范围的社会数据、资料和信息,使得重新审视和延伸经典理论,尤其是宏观理论成为可能。
例如,社会分层是当代社会科学领域的重要概念。基于抽样调查数据的大量经验研究表明,主观社会地位受到客观社会地位以及相对参照群体的决定性影响。同时,跨国研究也表明,经济不平等对人们的自我阶层定位也有影响。新近利用大数据的研究则基于谷歌图书语料库811万本英语书籍、8000亿个单词的大数据,提取计算了一百年来美国书籍中阶级词汇的出现频率,以此来测量美国公众对阶层的关注程度。而对阶层关注度和美国社会百年失业率、通货膨胀、基尼系数等指标的格兰杰时间序列分析表明,在市场经济发达的美国,代表通货膨胀率和失业率之和的“经济悲惨指数”(Economic Misery)影响着阶层关注度,而基尼系数却没有统计显著的影响。这意味着,不平等对于阶层意识的作用很可能存在一种阀域效应:当社会不平等高于一定的阀值时,不平等才会对阶层意识产生作用;而当低于阀值时,是经济景气程度在影响着阶层关注度。
或缓解定量与定性之间的分歧
定量研究与定性研究是两种不同取向的研究策略,其背后蕴含着本体论、认识论和方法论上的差异。定量研究者和定性研究者常常相互指责对方的局限性,然而大数据的出现为他们提供的数据规模和全新的数据特征,在某种程度上可能会缓解分歧,甚至重构两者的关系。对定性研究者而言,大数据可以通过海量规模的样本直接展示和发现出社会现象的规律,既不需要控制变量来检验关联,更避免了定性方法在案例选择方面的样本偏差。此外,大数据可以为定性研究提供既全新又不会过于复杂的研究思维,让检索和数据描述等方法得到普遍应用。
对于定量研究者而言,目前的可用大数据往往并非专门为回归分析而设计,因此依据大数据很难进行传统意义上的回归分析和因果推断。但由于数据的海量甚至全样本的性质,一旦把基于大数据的简单关联分析或时间序列分析结果与文献中的传统回归分析进行比对,就能形成具有说服力的证据链。同时,大数据也把定量研究者的关注视野进一步开阔,从传统的定量分析领域向以往较少触及的文化现象、心理现象等领域拓展,并重新审视“描述”在定量分析中的地位。从某种意义上讲,大数据的使用使得定性和定量之间出现一个混合地带。可以预见,以描述和简单回归分析的大数据研究,将进一步融合定性定量方法的鸿沟。
为学科融合提供机遇
近代科学在理性化的指引下不断提升着专业化程度,以至于不同学科之间形成了鲜明的边界。尽管这种进程大大提高了研究效率和学术领域内的交流评估质量,但也逐渐形成了各自为政的不足。研究者在获得相当的深度的同时,往往失去了对广度的把握,并且学科边界之间形成了许多空白地带。而大数据则为学科融合提供了难得的机遇。这主要是因为,大数据的获取和分析,往往需要有别于传统社会科学训练的方法和工具。这使得原本在计算机、人工智能甚至物理、数学等领域具有专长的学者,在有意无意中不断参与到社会现象的分析队伍中来。实际上,自然科学家转型为社会科学家并非前所未有,如小世界网络研究者邓肯·瓦兹原先就是物理学家。随着大数据的出现,这样的转型案例可能会大大增多。近两年来,发表在英文刊物上的基于谷歌图书、维基百科等大数据的语言学、经济学研究论文,大多数都有计算机和自然科学家加入作者的行列。此外,由于大数据为社会科学提供了全新的分析对象,交叉学科的重要性也越来越被认识。“计算社会科学”、“应用计算科学”的方兴未艾就是典型的案例。
社会科学或出现“重返描述”潮流
当代社会科学尤其是定量分析致力于进行因果推断、提供机制性解释。由于社会人的异质性,基于非实验数据的定量分析很难避免内生性问题(遗漏变量、样本偏误、联立性等问题)。目前,社会科学研究者通过固定效应模型、倾向性匹配、工具变量等方法来加以解决以改进因果推断。从现存可用来进行社会科学分析的大数据看,它所能提供的变量有限,因此社会科学研究者很难通过大数据进行变量控制来进行传统的因果推断。然而,大数据的出现对于学术目标的进一步丰富和发展却无疑是深远的。首先,基于信息技术而兴起的大数据扩展了人类的经验范围,从而使得简单的统计描述就可以达到发现规律、展示规律的目的。这使得人们有可能凭借大数据而提出理论,而不仅仅是利用抽样数据对传统理论和假说进行证伪。其次,大数据的信息具有在时空上传统抽样数据所无法比拟的广度和深度。在大数据时代,社会科学尤其是定量社会科学可能在一定程度上将不再单纯以进行反事实因果推断、探求机制性解释为主要学科发展目标,而是出现一种“重返描述”的潮流。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28银行业正处于一个前所未有的数字化转型时期。在数字经济的驱动下,金融科技如大数据、人工智能、生物识别、物联网和云计算等技术 ...
2024-10-28数据分析可视化是一门艺术与科学相结合的技术,其主要目标是将复杂的数据变得更易于理解和分析。通过将数据以图表的形式呈现,我 ...
2024-10-28数据分析师在现代信息密集型的商业世界中扮演着至关重要的角色。他们通过专业的技能和敏锐的商业洞察力,帮助企业从大量数据中提 ...
2024-10-28