外媒国外媒体全面深度分析大数据的革命_数据分析师
大数据”是当前的时髦术语,是技术界用来解决世界上最难处理的问题的全能办法。这个术语一般用来描述对海量信息进行数据分析,从而发现规律、收集有价值的见解和预言复杂问题答案的技巧与科学。大数据分析也许听起来有些乏味,但是从制止恐怖分子,到消除贫困,到拯救地球,对于大数据的鼓吹者来说,没有什么问题是解决不了的。
维克托•梅耶—舍恩伯格和肯尼思•丘基尔在有着朴素书名的《大数据:一次将改变我们生活、工作和思考方式的革命》一书中欢呼道:“对社会的好处将是无穷无尽的,因为大数据在一定程度上将解决迫在眉睫的全球问题,如处理气候变化、根除疾病以及促进善政和经济发展等。”
只要有足够多的数据可以处理———不管是你的iPhone上的数据、杂货店购物状况、在线约会网站个人简介或者是整个国家的匿名健康记录,利用对这些原始数据进行解码的计算能力,人们可以获得数不胜数的有价值的见解。甚至连奥巴马政府也已经赶上了这股潮流,并在5月9日向企业家、研究人员和公众“破天荒”发布了大量“以前难以获取或难以管理的数据”。
然而,大数据真的完全像人们吹嘘的那样吗?我们能相信众多的1和0将能揭示人类行为的隐秘世界吗?以下是作者对所谓大数据理论的思索。
1.“有了足够的数据,数字就可以自己说话”
没门儿。大数据的鼓吹者希望我们相信,在一行行的代码和庞大数据库的背后存在着有关人类行为模式的客观、普遍的有价值的见解,不管是消费者的支出规律、犯罪或恐怖主义行动、健康习惯,还是雇员的生产效率。但是许多大数据的传道者不愿正视其不足。
数字无法自己说话,而数据集———不管它们具有什么样的规模———仍然是人类设计的产物。大数据的工具———例如ApacheHadoop软件框架———并不能使我们摆脱曲解、隔阂和错误的成见。
当大数据试图反映我们所生活的社会化世界时,这些因素变得尤其重要,而我们却常常会傻乎乎地认为这些结果总是要比人为的意见来得客观些。偏见和盲区存在于大数据中,就像它们存在于个人的感觉和经验中一样。不过存在一种值得怀疑的信条,即认为数据总是越大越好,而相关性也等同于因果关系。
例如,社交媒体是大数据分析的一个普遍的信息源,那里无疑有许多信息可以挖掘。我们被告知,推特网的数据显示人们在离家越远的时候越快乐,而且在周四晚上最 为沮丧。但是存在许多理由对这些数据的含义提出质疑。首先,我们从皮尤研究中心获悉,美国上网的成年人中只有16%使用推特网,因而他们绝对不是一个具有 代表性的样本———与整体人口相比,他们中年轻人和城市人的比例偏多。
此外,我们知道许多推特账号是被称作“机器人”程序的自动程序、虚假账号或是“半机器人”系统(即得到机器人程序辅助的人为控制账号)。最近的估计显示,可 能存在多达2000万个虚假账号。因此就算我们要想踏入有关如何评估推特网用户情绪的方法论雷场之前,让我们先问一下这些情绪究竟是来自真人,还是来自自 动化算法系统。
2.“大数据将使我们的城市变得更加智能和高效”
在一定程度上是的。大 数据可以提供帮助改善我们城市的宝贵见识,但是它对我们的帮助仅此而已。因为数据在生成或采集的过程并不都是平等的,大数据集存在“信号问题”———即某 些民众和社区被忽略或未得到充分代表,这被称为数据黑暗地带或阴影区域。因此大数据在城市规划中的应用在很大程度上取决于市政官员对数据及其局限性的了 解。
例如,波士顿的StreetBump应用程序是一个比较聪明的以低成本收集信息的途径。该程序从开车经过路面坑洼处的驾驶员的智能手机上收集数据。更多类似 的应用正在出现。但是如果城市开始依靠仅来自智能手机用户的信息,那么这些市民只是一个自我选择样本———它必然导致拥有较少智能手机用户的社区的数据缺 失,这样的社区人群通常包括了年老和不那么富有的市民。
尽管波士顿的新城市机械办公室作出了多项努力来弥补这些潜在的数据缺陷,但不那么负责的公共官员可能会遗漏这些补救措施,最终会得到不均衡的数据,从而进一 步加剧已有的社会不公。人们只要回顾一下曾经过高估计了年度流感发病率的2012年“谷歌流感趋势”,就可以认识到依赖有缺陷的大数据可能给公共服务及公 共政策造成的影响。
在网上公开政府部门数据的“开放政府”计划———如Data.gov网站及“白宫开放政府计划”———也存在同样的情况。更多的数据未必会改善政府的任何功 能,包括透明度和问责,除非存在可以使公众和公共机构保持接触的机制,更不用说促进政府解释数据并以足够的资源作出反应的能力。所有这些都非易事。事实 上,我们身边还没有很多技能高超的数据科学家。各大学目前正在争相定义这一领域、制订教程和满足市场需求。
.“大数据对不同的社会群体不会厚此薄彼”
几乎不是这样。对 大数据所号称的客观性的另一个期待是对于少数群体的歧视将会减少,因为原始数据总是不含社会偏见的,这使得分析可以在整体水平上进行,从而避免基于群体的 歧视。然而,由于大数据能够作出有关群体不同行为方式的论断,它们的使用通常恰恰就是为了实现一个目的———即把不同的个体归入不同的群体中。例如,最近 有一篇论文指科学家听任自己的种族偏见影响有关基因组的大数据研究。
大数据有可能被用来搞价格歧视,从而引发严重的民权担忧。这种做法在历史上曾被称为“划红线”。最近,剑桥大学对脸谱网5.8万个“喜欢”标注进行的大数据研究被用来预测用户极其敏感的个人信息,如性取向、种族、宗教和政治观点、性格特征、智力水平、快乐与否、成瘾药物使用、父母婚姻状况、年龄及性别等。
记者汤姆•福尔姆斯基这样评价该项研究:“此类容易获得的高度敏感信息可能会被雇主、房东、政府部门、教育机构及私营组织用来对个人实施歧视和惩罚。而人们没有任何抗争的手段。”
最后考虑一下在执法方面的影响。从华盛顿到特拉华州的纽卡斯尔县,警方正在求助于大数据的“预测性警事”模型,希望能够为悬案的侦破提供线索,甚至可以帮助预防未来的犯罪。不过,让警方把工作专注于大数据所发现的特定“热点”,存在着强化警方对声誉不佳的社会群体的怀疑以及使差别化执法成为制度的危险。
正如某位警察局局长撰文指出的,尽管预测性警事登记系统不考虑种族和性别等因素,但是如果没有对差别化影响的考虑,使用这种系统的实际结果可能“会导致警方与社区关系恶化,让公众产生司法程序缺失的感觉,引发种族歧视指控,并使警方的合法性受到威胁”。
4.“大数据是匿名的,因此它不会侵犯我们的隐私”
大错特错。尽管许多大数据的提供者尽力消除以人类为对象的数据集中的个体身份,但身份重新被确认的风险仍然很大。蜂窝电话数据看起来也许相当匿名,但是最近对欧洲150万手机用户的数据集进行的研究表明,只需要4项参照因素就足以挨个确认其中95%的人员的身份。
研究人员指出,人们在城市中走过的路径存在唯一性,而鉴于利用大量公共数据集可以推断很多信息,这使个人隐私成为“日益严重的担忧”。
但是大数据的隐私问题远远超出了常规的身份确认风险的范畴。目前被出售给分析公司的医疗数据有可能被用来追查到你的身份。关于个性化医疗有很多谈论,人们的希望是将来可以针对个人研制药物和其他疗法,就好像这些药物和疗法是利用患者自己的DNA制作出来的。
就提高医学的功效而言,这是个美妙的前景,但这本质上依赖于分子和基因水平上的个人身份确认,这种信息一旦被不当使用或泄露就会带来很大的风险。尽管像 RunKeeper和Nike+等个人健康数据收集应用得到了迅速发展,但在实践中用大数据改善医疗服务仍然还只是一种愿望,而不是现实。
高度个人化的大数据集将成为黑客或泄露者觊觎的主要目标。维基揭秘网一直处在近年几起最严重的大数据泄密事件的中心。正如我们从英国离岸金融业大规模数据泄露事件中看到的,与其他所有人一样,世界上最富有的1%人口的个人信息也极易遭到公开。
5.“大数据是科学的未来”
部分正确, 但它还需要一些成长。大数据为科学提供了新的途径。我们只需看一下希格斯玻色子的发现,它是历史上最大规模网格计算项目的产物。在该项目中,欧洲核子研究 中心利用Hadoop分布式文件系统对所有数据进行管理。但是除非我们认识到并着手解决大数据在反映人类生活方面的某些内在不足,否则我们可能会依据错误 的成见作出重大的公共政策和商业决定。
为了解决这个问题,数据科学家正在开始与社会科学家协作。随着时间的推移,这将意味着找到把大数据策略和小数据研究相结合的新途径。这将远远超越广告业或市场营销业采用的做法,如中心小组或A/B测试(即向用户展示两个版本的设计或结果,以确定哪一个版本的效果更好)。
确切地说,新的混合式方法将会询问人们做某些事情的原因,而不只是统计某件事情发生的频率。这意味着在信息检索和机器学习之外,还将利用社会学分析和关于人种学的深刻认识。
技术企业很早就意识到社会科学家可以帮助它们更加深刻地认识人们与其产品发生关系的方式和原因,如施乐公司研究中心就曾聘请了具有开拓精神的人类学家露西•萨奇曼。下一阶段将是进一步丰富计算机科学家、统计学家及众多门类的社会科学家之间的协作———不仅是为了检验各自的研究成果,而且还要以更加严格的态度提出截然不同的各类问题。
考虑到每天有大量关于我们的信息———包括脸谱网点击情况、全球定位系统(GPS)数据、医疗处方和Netflix预订列表———被收集起来,我们迟早要决定把这样的信息托付给什么人,以及用它们来实现什么样的目的。
我们无法回避这样的事实,即数据绝不是中立的,它很难保持匿名。但是我们可以利用跨越不同领域的专业知识,从而更好地辨别偏见、缺陷和成见,正视隐私和公正将面临的新挑战。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28银行业正处于一个前所未有的数字化转型时期。在数字经济的驱动下,金融科技如大数据、人工智能、生物识别、物联网和云计算等技术 ...
2024-10-28数据分析可视化是一门艺术与科学相结合的技术,其主要目标是将复杂的数据变得更易于理解和分析。通过将数据以图表的形式呈现,我 ...
2024-10-28数据分析师在现代信息密集型的商业世界中扮演着至关重要的角色。他们通过专业的技能和敏锐的商业洞察力,帮助企业从大量数据中提 ...
2024-10-28