大数据时代你我都是透明人_数据分析师
网络海量数据让监控轻而易举
早期互联网本身,就是在美国国防先进研究计划内研发出来的,在上世纪90年代互联网大规模商业化应用之前,美国政府一直掌控着网络的控制权。作为信息时代的幕后推手,美国政府从未将全球信息网络当做单纯的商业空间,而是特别重视其在国家政治和安全领域的利用价值。“棱镜”计划不过是延续了冷战以来美国国安局全面监听国内外通讯的传统,将其进一步延伸到数据空间而已。
十年前出国,你也许会听到这样的建议:在给国内亲友打电话时,电话中最好插一些涉及弹道导弹、核潜艇之类的军事敏感词。作为对个人隐私权遭受侵犯的抗议,如果所有普通人都在电话中夹杂一些容易被注意到的关键词,会增加那些情报监听机构的工作量,增加其成本,最终获得干扰对方监听的效果。
如今,随着计算机运算和存储能力的提升,以及相应成本的下降,网络化计算能力得到指数倍的提升。时下,随便哪个网站都可能需要处理数量巨大的在线数据,例如,当你使用谷歌在线翻译,寻找英语单词“light”是该翻译成中文的“光”还是“轻”时,一瞬间谷歌就会检索数十亿页的翻译资料。
这个世界每年所创造的数据量正在以指数形式增长,去年,这一数字则达到了2.8ZB(1ZB=10244GB),听起来很可怕吧?据知名信息行业咨询服务商IDC称,这一数字将在2015年翻一番。此外,这些数据中的3/4是由个人在创造或移动数字文件时贡献的。
举例来说,一个标准的美国“上班族”每年可以贡献180万MB的数据量,平均每天有约5000MB,其中包括下载的电影、文档、电邮以及这些数据通过移动或非移动互联网传播时所产生的附加数据量。
在这种庞大的运算能力面前,此前似乎像散沙一样不具备任何关联性的海量数据得到了有效处理。面对一个个体生活不断被互联网信息化高度整合,甚至裹挟和绑架的时代,暂且不去讨论大数据技术是否会沦为一个专制的恶政府的可怕工具,即便一个民主政体出于一个好的目的,但是,你永远无法判断结果的好坏,因为魔鬼永远用一个好的理由将人们带向地狱。“棱镜”事件折射出的对个人隐私权的漠视,似乎正成为一个可怕结果的开始。
大数据可预测80周后你可能到达的位置
斯诺登揭露的“棱镜”项目的重要特征是美国的“政商协作”。这种协作既包括政府购买服务(政府订单和服务外包),也包括企业自愿或服从政府要求提供服务,以获取政府信任和政商互动(如人员流转)。“棱镜”项目暴露出的战略与技术咨询提供商博思艾伦和与政府合作的九大互联网公司,也是在此政商协作模式下工作的。
很明显,美国政府与企业的数据情报合作是互惠性的。一方面,美国的互联网大企业本身具有巨大的技术和资本优势,可以弥补政府开支的局限性,并增强国家情报的储存和分析能力;另一方面,国家安全局为快速发现潜在可用情报而研发的最新算法和培养的新人才,可以反过来被高科技资本迅速利用,从而保持美国公司在全球信息技术领域的领先性。
Facebook已经可以实现对个人信息收集的自动化与实时化,其首次公开募股时的财务档案显示,Facebook上每位用户的图片和视频资料数据量约为111MB,而Facebook的用户数如今已经超过了10亿,这可是整整100PB(1PB=10242GB)的个人信息数据。这意味着,可以获得的个人数据量越多,其中的信息量就越大。只要拥有了足够多的数据,我们甚至可能发现关于一个人的未来信息。去年,来自美国罗彻斯特大学的亚当·萨迪克和来自微软实验室的工程师约翰·克拉姆发现他们可以大致预测一个人未来可能到达的位置,最多可以预测到80周后,其准确度高达80%。为此,他们收集了32000天里307个人和396辆车的GPS数据并建造了一个“大规模数据集”。
根据斯诺登提供的信息,美国国安局拥有的正是一套基于大数据的新型情报收集系统,这套名为“无界爆料”的系统,以30天为周期,可以从全球网络系统中接收到970亿条讯息,再通过比对信用卡或者通讯记录等方式,能几近真实地还原个人的实时状况。
随着数据越来越详尽,数据挖掘和解读的技术不断提高,哪怕是个人生活最隐秘的部分也越来越趋于透明化。事实上,我们可以直接说数字化生存在很大程度上就是透明化生存,而且是透明化的程度在不断地提高。随着数据采集取样越来越趋于详实,对个人和群体行为趋势的预判越来越准确。
潜在危险需要监督制约
相比网络之前的时代,时下的数据分析能力得到了空前的提升,但谁能保障大数据分析的准确性呢?我们可以回过头去,看看电脑是如何得出这个结果的,或许可以查阅一下硬盘上的数据,或许可以检查一下一两个程序代码,来判断其逻辑是否有误。但在大数据时代,因为大数据算法和结构太过复杂,从外部没有人能够追溯错误的源头。
维克多·梅耶·松博格与肯尼迪·古奇尔在他们合著的《大数据:改变我们生活、工作、思考的革命》一书中,记录了这样一件事:在2004年美国国家安全局依赖大数据系统,自动分析生成了一张禁止飞行的危险人物名单,但这一名单错误百出,甚至美国参议员也赫然在列。幸亏国家安全局一名算法师从内部阻止了这张名单生效。
在这个故事中,我们可以看到大数据出错的风险。在没有有效的保障下,大数据分析系统可能变成一个不可说明、不可追踪,甚至不可信的黑匣子。在这种情况下,大数据和政府治理一旦密切联姻,可能将产生无数的受害者。试想一下,谁能真正保证“棱镜”计划制止的恐怖分子不会有错误呢?
在西方,消费者信息监控已经发展为一项规模达几十亿美元的产业,其中的企业基本不受什么监管,即使是有影响力的人物的个人信息,其卖价通常都不会超过一美元。在这种力量不平衡之下,手中掌握着更强大的数据分析能力的大公司以及更强大的政府,就拥有了自由利用这些信息而不受监督的能力。
显然,“棱镜”折射出了这一潜在的危险。大数据时代的到来,要求我们必须建立一套新的监督制衡机制来规范政府行为,建立一个更加开放的社会治理环境来减少大数据错误的危害。
在大数据时代之前,民众可以以保密的方式来保护隐私,但今天人们在不知不觉间就透露了隐私。这就要求那些保存和管理信息的企业承担更大的责任,这应该成为一种新的隐私保护模式:政府不应假定消费者在使用企业的通讯工具等产品时主动透露了自己的隐私,就意味着他们授权企业使用这些隐私。力量越大责任也越大,现在是那些掌控大数据的大企业和政府负起责任,构建一张更完善的安全网的时候了。
数据分析咨询请扫描二维码
在现代信息技术的广阔世界中,大数据架构师扮演着至关重要的角色。他们不仅引领着企业的数据战略,还通过技术创新推动业务的不断 ...
2024-11-04在当今数字化时代,数据分析师已成为企业关键角色,帮助决策者通过数据驱动的洞察实现业务目标。成为一名成功的数据分析师,需要 ...
2024-11-03在当今数字化的世界中,数据分析已经成为推动商业决策的关键因素。随着公司和组织越来越依赖数据来驱动业务战略,对数据分析专 ...
2024-11-03《Python数据分析极简入门》 第2节 2 Pandas数据类型 Pandas 有两种自己独有的基本数据结构。需要注意的是,它固然有着两种数据 ...
2024-11-01《Python数据分析极简入门》 第2节 1 Pandas简介 说好开始学Python,怎么到了Pandas? 前面说过,既然定义为极简入门,我们只抓 ...
2024-10-31在当今数据驱动的世界中,数据科学与工程专业的重要性愈发凸显。无论是推动技术进步,还是在商业决策中提供精准分析,这一专业都 ...
2024-10-30在当今信息爆炸的时代,数据已成为企业决策和战略制定的核心资源。爬虫工程师因此成为数据获取和挖掘的关键角色。本文将详细介绍 ...
2024-10-30在当今数据驱动的世界中,数据分析是揭示商业洞察和推动决策的核心力量。选择合适的数据分析工具对于数据专业人士而言至关重要。 ...
2024-10-30能源企业在全球经济和环境保护双重压力下,正面临前所未有的挑战与机遇。数字化转型作为应对这些挑战的关键手段,正在深刻变革传 ...
2024-10-30近年来,随着数据科学的逐步发展,Python语言的使用率也越来越高,不仅可以做数据处理,网页开发,更是数据科学、机器学习、深度 ...
2024-10-30大数据分析师证书 针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。 ...
2024-10-30《Python数据分析极简入门》 附:Anaconda安装教程 注:分Windows系统下安装和MacOS系统安装 1. Windows系统下安装 第一步清华大 ...
2024-10-29拥抱数据分析的世界 - 成为一名数据分析工程师是一个充满挑战和机遇的职业选择。要成功地进入这个领域,你需要掌握一系列关键技 ...
2024-10-28降本增效:管理战略的关键 企业管理中的降本增效不仅是一项重要的战略举措,更是激发竞争力、提高盈利能力的关键。这一理念在当 ...
2024-10-28企业数字化是指利用数字技术和信息化手段,对企业的各个方面进行改造和优化,以提升生产效率、服务质量和市场竞争力的过程。实现 ...
2024-10-28数据科学专业毕业后,毕业生可以选择从事多种不同的岗位和领域。数据科学是一个快速发展且广泛应用的领域,毕业生在企业、学术界 ...
2024-10-28学习数据科学与大数据技术是当今职业发展中至关重要的一环。从基础到高级,以下是一些建议的课程路径: 基础课程: Python编程 ...
2024-10-28在信息技术和数据科学领域,数据架构师扮演着至关重要的角色。他们负责设计和管理企业中复杂的数据基础设施,以支持数据驱动的决 ...
2024-10-28进入21世纪以来,随着信息技术的迅猛发展,大数据已经成为全球最具影响力的技术之一,并成为企业数字化转型的核心驱动力。大数据 ...
2024-10-28随着科技的迅猛发展,数字化转型已成为现代企业保持竞争力和推动增长的关键战略之一。数字化不仅仅是技术的应用,它代表着一种全 ...
2024-10-28