“大数据”的便利与“暴政”_数据分析师
对于大多数人来说,“大数据”还是一个陌生的术语,但它的威力已无所不在:信用卡公司追踪客户信息,能迅速发现资金异动,并向持卡人发出警示;能源公司利用气象数据分析,可以轻松选定安装风轮机的理想地点;瑞典首都斯德哥尔摩使用运算程序管理交通,令市区拥堵时间缩短一半……
牛津大学教授维克多·梅耶-舍恩伯格在其新书《大数据》中说,这是一场“革命”,将对各行各业带来深刻影响,甚至改变我们的思维方式,但同时它也引发“数据暴政”的担忧。
1 商业:
提供“精准预测”
在一些公司、实验室和政府机构,“数据”被捧为21世纪新型“石油”或“黄金”。一些统计学家、物理学家和所谓的数据科学家从中获利丰厚,他们服务于大数据应用程序开发公司,“蓝色彼岸”便是其中之一。
“蓝色彼岸”成立于5年前,目前有85名员工。经理尤韦·魏斯介绍,公司利用自行开发的软件,分析超市刷卡记录、天气资讯、学校放假信息和交通报告等数据,为客户提供“精准预测”。他们的客户包括德国邮购业泰斗奥托集团和dm连锁药店。
魏斯说,“蓝色彼岸”的软件不仅能从单条信息中分析出更多内容,而且能发现信息间关联,对零售业极为有用,可以避免发货出错,最大限度降低库存成本。
例如,“蓝色彼岸”发现,某些日子里,一家超市连锁店的牛奶、巧克力棒和苹果的销量大幅上升,而这一时间恰好与附近一家青年旅社里一群学生的到来相吻合。于是,公司搜集邻近各州学校放假安排等资讯,利用软件计算出某一特定时间可能到来的学生人数。
再如,“蓝色彼岸”发现,如果遇到周三为节假日,其前后几天小孩不用上学,因此对面包片的需求量减少,“蓝色彼岸”的存货预订系统会自动做出相应调节。
此外,“蓝色彼岸”帮助dm连锁药店计算最合理的员工人数,并为每家分店提供销售预测报告。
奥托集团说,自从使用“蓝色彼岸”的软件,销售预测准确度提高20%到40%。它准备把该软件应用推广到公司运动品牌零售商SportScheck,并收购“蓝色彼岸”50%股权。
“大数据正在重塑整个经济,我们只是处于起步阶段,”魏斯说。
2医疗:
开启个性化治疗
位于柏林巴伯尔斯贝格地区的哈索·普拉特纳研究所(HPI)可能成为数以百万计癌症患者的希望。研究所二楼的计算机房常年保持低温,以免价值150万欧元的处理器过热。普通计算机只有1个处理器,但那里的每台计算机有40个处理器,运算速度是传统计算机的1000倍,甚至更快。
普拉特纳是全球最大的企业管理和系统化商务解决方案供应商“思爱普”(SAP)创始人,也是HPI赞助人。他介绍说,HPI的汉娜数据库技术始于一个名叫“Sanssouci DB”项目,由8个大学生创立,曾获得创新大奖,如今已成为“内存储处理”的代名词。
HPI负责人、数学家克里斯托弗·迈内尔认为,该技术不仅有广泛的商业前景,而且为癌症治疗提供机遇,“我们正站在个性化医疗的门槛上”。
迈内尔说,每一种肿瘤都不尽相同,这意味着同样的治疗方法对不同人会产生不同效果。目前,为了给患者制定有针对性的治疗方案,需花费数月破译其基因组。这并不奇怪,因为每个人有大约30亿个DNA“积木”。但在HPI“超级大脑”的帮助下,破译基因组只需要短短数秒。
此外,HPI的电脑可以从公共基因库中精选所有信息,为每一个患者寻找到最合适他症状的治疗方案。“目前,这种搜索配对过程还需花费数月时间,”迈内尔说。
曼彻斯特大学研究人员正在从事另一个“大数据”项目——帮助独居老人的“神奇地毯”。它看上去与普通地毯没有什么区别,但装有内置感应器记录老人的行动规律。如果有违正常规律,则意味着可能发生意外,“神奇地毯”会发出警报。
科学家们还做了相关衍生实验,比如在假肢上安装芯片和感应器,以达到预警效果。
3安全:
助力抓贼反恐斗黑客
在美国加州圣克鲁斯市一个地下车库,一名小偷正在撬车,却被几米开外正在一辆车里吃午餐的警察逮了个正着。这名警察并非“碰巧”出现在那里,而是根据一个计算机软件的推荐在此守株待兔。
过去两年里,这座城市的警察换班时,都会根据长官和软件发出的指示外出巡逻。该软件输入了警方所有数据,不断更新,用于计算何时何地可能发生夜盗、抢劫、偷车等犯罪行为,其中三分之二确实发生了。
这一软件由计算机专家乔治·莫勒和从事犯罪学研究的人类学家杰弗里·布兰廷汉姆联合编写,参照了预测地震余震的程序模式。圣克鲁斯警察局副局长史蒂夫·克拉克于2011年偶然得知这一创意,三人共同开展了一个测试项目。他们把圣克鲁斯市8年来的犯罪记录输入程序,再加上其他潜在相关数据,比如天气状况、公园资讯和公交线路等。
“起初,很多人持怀疑态度,包括我自己,”克拉克说,“但数据本身证明其确实有效。”据他介绍,使用犯罪预测系统一年后,夜盗案件减少11%,盗车案件减少8%,破案率大幅提升56%。
目前,圣克鲁斯整个警界都在使用犯罪预测系统,所有警察外出巡逻时都配备智能手机和接入预测系统的平板电脑。只要有机会,他们就会进入标识出的案发高概率区域,制止可能的犯罪行为。
莫勒和布兰廷汉姆后来成立公司,将“预警巡逻”软件推向全球,仅美国就有十几个城市的警察局是其用户,包括洛杉矶、波士顿和芝加哥。近日,克拉克前往英国肯特,指导当地警察局使用这一软件。
除警察局外,军队和情报机构也非常重视数据分析。比如,在搜寻本·拉丹的过程中,“大数据”就发挥了重要作用,正是数据库分析让调查人员把目光聚焦在巴基斯坦的阿伯塔巴德。
Splunk是情报界和军方炙手可热的软件供应商,总部设在旧金山一家旧香肠工厂里。不久前,在科技记者评出的全球最具创意的公司中,Splunk名列第5,而谷歌仅列第11位。
“空客A380的涡轮机在单次飞行中提供的数据相当于一个中等规模的计算机中枢,”Splunk产品部高级副总裁圭多·施罗德说。分析涡轮机提供的数据有助于最大程度降低燃油消耗,优化维修间隔期。
“安全领域是‘大数据’应用增长最快的领域之一,”施罗德说。除对付犯罪和恐怖主义外,Splunk的软件还能查明黑客攻击等网络犯罪。
4
个性化服务是“大数据”应用程序魅力所在。比如,如果有人在“脸谱”上表示“喜欢”某款牛仔裤,当他下次进入该店铺时,就可能收到店主给他发送的同品牌牛仔裤的打折信息。看起来,这对零售商和消费者都有好处,但主张保护数据隐私的人却认为,“大数据”理念其实与“专制独裁”没有区别。
为消除人们顾虑,许多公司强调他们收集、储存、分析数据都是“匿名”,但事实上可能并非如此。在线期刊《科学报道》近期一项研究显示,每个人有自己的行动模式,95%的人可能被识别。普林斯顿计算机科学家阿尔温德·纳拉亚南在其博客上说,可供分析的数据越多,就越不可能保持“匿名”,识别一个人只要33个字节的信息量。
纽约广告商奥美的调查显示,75%受访者表示不希望企业存储个人数据,90%反对企业追踪自己的上网记录。
在现代社会,一个更加迫切的问题是:人们是否真的愿意接受一个“数字驱动经济”的世界?在这个世界里,数据分析能预测你的孩子在学校表现如何,他将来适合怎样的工作,谁有多大几率犯罪或得癌症,电视台和唱片公司能根据预测迎合观众或听众的口味……但在这个一切都计算好的世界里,创意、灵感和惊喜在哪里?
互联网哲学家叶夫根尼·莫罗佐夫对许多“大数据”应用程序背后的意识形态提出尖锐批评,警告即将发生“数据暴政”。他提出,那些“大数据”应用程序应当接受独立审计人定期审查,以防权力滥用。
“大数据”行业巨头谷歌的一次不经意行为,显示了人们对“数据暴政”的警惕。谷歌董事长埃里克·施密特说,公司在2010年曾闪过这样一个玩笑想法:通过数据分析预测股票价格,但后来放弃了,因为公司高管认为,这可能不合法。
但他没有说,这是不可能的。 ·唐昀·
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21