大数据带来大变革
近来,媒体报道了一系列看似互不相关的事件:
4月15日,波士顿马拉松爆炸案事发几小时内,数以千计的在场群众将事发现场拍摄的照片和视频放到了公共网络平台上,这些照片和视频图像来自各种相机,手机和平板电脑。不到一天时间,嫌犯被确认。又过了一天,两嫌犯在前往纽约,准备在时代广场再次引爆六枚炸弹,制造大规模血案的路途中被追捕,一死一伤。这是历史上第一次反犯罪机构的专业能力与社会大众汇集的海量信息及时结合,在与犯罪分子的时间竞赛中取胜。
4月底,谷歌正式发布了全新的网络终端—-谷歌眼镜,使人类第一次具备了真正意义上的所见即所得的工具,可以把人们在日常生活中目光所及的一切变成网络数据,传送到网络空间中加以保存利用。这一创新是如此神奇,可以用语音打开网站或电子邮件,用眨眼动作开启照片或视频的拍摄。
4月底,通用电气宣布投资10亿美元,开始在硅谷打造一个“工业互联网”平台。这个平台将通过安装在通用旗下大至飞机,小至激光手术刀等数万种产品上的传感装置,通过网络将设备运行状态数据实时传至平台,通过各种软件进行分析检测,以有效地确认各类设备的良好程度,以及时进行设备优化和维修更新。据测算,等到平台建成,仅在能源和交通领域,就可以比现有维护系统减少1500亿美元的浪费。
5月初,世界第一款通过3D打印制造出来的手枪由美国一家公司设计制造并试射成功。手枪由十六个部件组成,除撞针是金属制品外,其余部分全部由高强度塑料和树脂粉末通过3D打印设备制成。如果不是为了遵守现有枪支检测法律,手枪撞针本来也是可以不用金属制造的。手枪的全部设计图纸和工艺流程由发明者做成计算机文件放到了互联网上,短短几天内被下载了十万余次,以致美国政府担心产生可能的公共安全问题,封杀了这些文件。
如果留意,类似创新的报道每天都在出现。这些表面上看起来互不相关的事件却有着鲜明的共同点,即越来越多的领域,越来越多的产业,在创新上都走上依靠计算机-互联网-大数据这一道路,计算机-互联网-大数据的影响力正在越来越明显地覆盖社会生活的方方面面。那些正在或将来会牵动全社会,影响国家安全和人民福祉,创造巨大财富的创新,几乎都要在计算机-互联网-大数据的平台上实现。这形成了一个全新的“围城”现象:原来据守在计算机-互联网-大数据产业壁垒中的企业开始向外突围,试图冲入传统产业和传统社会生活中大施拳脚;原来从事传统产业,社会服务和公共事务的企业和机构开始攻城,试图通过登陆新型信息平台找到发展新途径。
从上世纪70年代末期开始,已经实现了工业化的发达国家先后开始了向信息化社会转型的过程。站在今天的角度观察,这一由工业化向信息化的转型可以分为三个时代,即计算机时代,互联网时代和大数据时代。
到90年代中期,美国已经基本度过了计算机时代,计算机高度普及,解决了信息的机器可读化和数据的可计算化问题。目前,美国也基本走完了互联网时代的路程,互联网高度普及,解决了信息传递和信息服务问题。在计算机和互联网的基础上,美国正在步入一个全新的历史阶段—-大数据时代。
从早期巨型计算机作为唯一的电子化数据获取和处理工具,到后来PC机和笔记本电脑的普及,再到今天的智能手机,谷歌眼镜和穿戴型数据终端以及形形色色的数据传感装置,人类将物理界,生物界和社会界的万事万物数据化并加以存储处理的能力大幅提高,可以说无处不在,无物不读。目前全球具备数据获取存储处理和传输的数据终端设备已经超过一百亿台,并且以每两年翻番的速度增长。
互联网从早期的有线网络发展出无线网络,数据传输速度越来越快,数据传输成本越来越低。当互联网与数据终端合为一体,就开始形成了一个全面深入映射现实世界的数据化世界,也就是人们所谓的大数据。获取和利用大数据,寻找过去现实世界中所没有的全新生活方式,社会治理机制和经济发展途径,开始成为社会方方面面关注投入的中心,也就是人们所谓的大数据时代。当获取和利用大数据成为社会共识和社会发展的主要推动力的时刻到来,就可以说人类全面进入了信息化社会。
大数据的核心组成部分是由政府机构所拥有的社会管理和公共生活数据,以及主要是由政府机构直接拥有或间接支持下获得的物理世界和生物世界的数据。同政府数据资源相比,无论个人,企业或社会组织如何努力,获取和可利用的数据资源都是简单,片面和利用价值极其有限的。
所以,如何使政府从垄断和保密的历史惯性思维方式中解脱出来,在确保隐私,机密和国家安全的前提下带头开放数据,降低公众获取和利用政府数据资源难度和成本,至少是大数据时代开启阶段的瓶颈。冲破开放数据这一关,海阔天空,前途无限。迟疑不决或畏缩不前,早晚会自尝恶果,落后挨打。大数据正在成为一个国家最重要的国家社会资源,对大数据的获取和利用能力正在成为软硬兼备的真实力。正是在开放政府数据资源这一关键点上,美国再次走在了世界各国的前面。
5月9日,美国总统奥巴马发布了题为“实现政府信息公开化和机器可读取化”的总统行政命令(相当于我国的最高级别行政法规),这是继奥巴马于2008年上任后发布关于政府公开化,数字化政府和迎接大数据时代到来的一系列总统行政命令后,在国家治理和公共服务方面坚决和主动适应时代变革的又一重大举措。这一行政命令的基本要点是:
–“政府的开放性将巩固民主制度,使公共服务效益提升并促进经济增长。开放政府的一个重大益处是通过信息资源容易被发现,获取和使用,从而为社会创业,创新和科学发现提供动力,从而改善美国人民生活并显著增加就业机会”。
–“为进一步促进通过政府数据开放给公众以增加就业机会,政府施政效率和公共服务产品,新增和经过现代化处理的原有政府信息资源的基本形态必须实现开放化和机器可读化。政府信息在其生命周期内必须作为一种资产加以管理,以提升数据的可交互操作性和开放性,并确保在法律许可范围内,在任何地方都可以将数据开放给公众,同时确保其开放方式使公众容易寻找,获取和使用。”
–相关政府部门将制定并不断更新一整套数据开放政策,与此行政命令同时发布。在推进数据开放政策时,各相关政府部门在确定开放任何信息之前,都应对该信息在有效期内是否侵犯个人隐私,政府机密和国家安全进行评估,确保数据开放在相关法律规定的范围内实施。
–为确保数据开放政策有效实施,在30天之内,白宫信息与法规办公室的首席信息官和首席技术官必须在互联网上公布相关数据转换工具和使用指南,以帮助各政府部门在落实此行政命令过程中协调一致。这些工具和指南必须定期更新以跟上数据开放政策落实的进程。在90天之内,白宫有关部门和官员必须确定政策落实的初步实施细则,并将此细则纳入各种国家采购和国家基金发放程序之中。白宫办公厅首席绩效官必须制定出所有政府部门重点施政目标考核办法,以跟踪数据开放政策的落实情况。各部门的进展和达标情况必须按季度上报并将纳入政绩考核。
为了证明政府开放数据对社会发展的重要性,奥巴马特意列举了美国政府向全社会免费开放气象数据和全球定位系统(GPS)两个实例。在开放了源自政府气象卫星和地面气象站的数据后,美国出现了一个全新的产业链,包括电视气象频道和气象网站,商业化的农业气象顾问服务以及新型与气象有关的保险产品。在过去国防专用的GPS系统向民用和商用开放后,全世界涌现出一大批基于GPS的创新产品和服务,例如飞机导航系统,精细化农产品耕种系统和互联网上形形色色的基于定位的网络服务。
为了表明对数据开放政策的支持,美国卫生部在奥巴马签署行政命令的前一天,首次公开了所有医院在对患者乱收费方面的数据,从而加强了公众对医院价格透明度和公共责任的监督力度。而在过去几年美国卫生部已经大量公开了机器可读的有关医疗方面的数据,包括医院,药品,医保产品,社保成本等等,由此触发了数以百计的利用公共健康医疗数据进行创业的公司,涌现了大量有利于大众健康和疾病治疗方面的产品。
可以相信,美国在推进大数据发展方面的持续努力,能够确保其在全球走向信息化社会的过程中的领先地位。以开放政府数据资源为重点的大数据战略,以鼓励大规模开发页岩气(高度依赖计算机)为重点的新能源战略和以3D打印(与大数据密不可分)为突破口的创意与制造业更新战略将成为美国经济与社会转型的三块基石。由此产生的巨大的社会生产力提升,巨大的财富创造效应和巨大的科技创新能力将极大地提升美国社会的现代化程度和国际竞争力,彻底摆脱2008年金融危机发生以来所造成的社会经济转型痛苦,从而确保未来几十年美国在全球的领导地位。
经过30多年的改革开放,中国已经基本完成了从农业社会向工业化社会的转变。与美国等发达国家不同,在推进国家工业化和加入国际分工体系的同时,中国从上世纪80年代中期开始就启动了走向信息化社会的进程。回顾过去20多年的历史,可以发现中国已经基本走完了计算机时代和互联网时代的路程,已经一条腿迈入了信息化社会。
无论是以计算机设计制造能力和数量以及软件创造能力来衡量,还是以计算机普及度和社会依赖度来衡量,中国已经极大地缩短了与发达国家的差距,从过去的三十年以上减少到十年以内。无论是以网络设备设计制造能力和数量以及布网建设水平来衡量,还是以互联网普及程度和社会依赖度来衡量,中国同样已经极大地缩短了与发达国家的差距,从过去的十五年以上减少到五年以内。
在以美国为首的发达国家开始做出走向大数据时代的种种努力的历史性时刻,如果中国能够在以往的基础上,凝聚共识,扫除障碍,立即行动,义无反顾地走向大数据时代,那么,就有极大的机会进一步缩短与发达国家的差距,与美国相差两三年,与其他发达国家并驾齐驱,大幅领先其他新兴经济体。这样,中国的社会现代化程度将得以极大提升,在世界上的竞争能力明显增强。
与美国相比,中国的政府体系在社会中的地位,能力和影响力要强得多,拥有的公共数据资源多很多,开放程度低很多。所以,一旦政府下决心实施开放数据战略,推进力度和综合社会经济效益会更加显著。这首先需要在政府最高层次上建立决策,实施和协调机构,类似在推进计算机和互联网发展时期的国务院信息化领导小组。
一旦决策形成,就要推出一系列可操作,可监督,可问责的行政法规和实施细则,并与国家预算与资金投放机制挂钩,形成激励和推动的动力。开放政府信息资源可以先易后难,从气象,地震,交通,公安,社保,医疗卫生,教育等公共数据资源的开放入手,在投资,生产,消费,统计,审计等经济领域也大有潜力可挖。当这些公共数据与民间和企业界拥有的数据资源相互融合,就会形成巨大的创新力,财富创造能力和社会进步推动力。
毋庸置疑,大数据时代对社会现有结构,体制,文化和生活方式的冲击和变革远大于计算机时代和互联网时代。对中国而言,以往计算机时代,互联网时代甚至工业化时代和融入世界分工体系所带来的冲击,阵痛和改变还在继续。这是一个高速发展的社会不得不付出的代价。
相比较而言,如果拒绝走向大数据时代,闭目塞听,墨守成规,消极保护部门利益或其他既得利益集团的垄断地位,从而丧失难得的历史机遇,迟滞国家现代化的进程,所要付出的代价要高的多。现在正是由大数据所带来的大变革的前夜,面对这场势将席卷全球的社会大变革,主动比被动好,早动比晚动好,不动不是一个选择。
数据分析咨询请扫描二维码
在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17数据分析,是一项通过科学方法处理数据以获取洞察并支持决策的艺术。无论是在商业环境中提升业绩,还是在科研领域推动创新,数据 ...
2024-12-17在数据分析领域,图表是我们表达数据故事的重要工具。它们不仅让数据变得更加直观,也帮助我们更好地理解数据中的趋势和模式。相 ...
2024-12-16在当今社会,我们身处着一个飞速发展、变化迅猛的时代。不同行业在科技进步、市场需求和政策支持的推动下蓬勃发展,呈现出令人瞩 ...
2024-12-16在现代商业世界中,数据分析师扮演着至关重要的角色。他们通过解析海量数据,为企业战略决策提供有力支持。要有效完成这项任务, ...
2024-12-16在当今数据爆炸的时代,数据分析师是组织中不可或缺的导航者。他们通过从大量数据中提取可操作的洞察力,帮助企业在竞争激烈的市 ...
2024-12-16