人类知识的唯一来源,是对过去经验的记录和整理,而数据,正是这种记录的载体,因此数据的价值首先在于它是知识的来源。如果说传统的数据是人类部分知识的来源,那随着人类记录范围的不断扩大,现代意义上的大数据将逐渐成为人类全部知识的来源。
数据是对客观世界的测量和记录,这种记录也是对历史和现实的记录。1869 年,当美国总统加菲尔德在对美国的人口普查体系进行现代化改造之时,他就发现,数据当中不仅蕴藏着社会发展的规律,它还提供了一种全新的历史书写方式:
直到现在,历史学家还是以一种总体的形式来研究一个国家,他们只能给我们讲述帝王将相以及战争的历史,但关于人民本身我们庞大社会中每个生命的成长、各种力量、细节及其规律,历史学家说不出太多的东西而普查把我们的观察放大到民房、家庭、工厂、煤矿、田野、监狱、医院等集中展示人性之强大及脆弱的所有地方,这让新的历史记录成为可能。
今天回头看,此话非常具有前瞻性。随着人类跃进到大数据时代,数据不仅是新知识的来源,还是记录历史最重要、最可靠、最好的方式。从今以后,人类所有的历史记录,无论是数字、文档、图片,还是音频和视频,都将以数据的形式存在,数据就是静态的历史,历史就是动态的数据。历史的碎片,就是游离的数据;历史的迷雾,就是模糊的数据;历史的盲点,就是缺失的数据。用数据构建的历史,因为精确的细节而永远鲜活,数据越丰富,后世的历史学家也就越能经由数据更好地再现当时的社会。
除了发现知识、记录历史,本书认为,人类使用数据的巅峰形式,是通过数据训练机器,让机器获得智能,在不远的将来,无处不在的计算设备和网络将像有智商的人一样,为人类工作和服务。这意味着我们在向智能型社会迈进,在这个新的社会形态,由于精准的计算和预测,整个社会的各个部分可以像无数个大大小小的轴承和齿轮一样,环环相扣,齿齿吻合,日常管理将通过数据得到优化,各种任务、合作可以无缝对接,社会运行的成本可大幅降低,更重要的是,越来越多的工作将被计算机或者机器人代替。这既是进步,又是挑战。回望农业时代和工业时代,人类不断地开发我们赖以生存的自然环境,从地表到地下,物理性的资源终有耗尽的一天,而大数据将成为人类取之不尽、用之不竭的新资源,在这片资源之上,再通过软件和算法,人类将建设一个智能型世界。
数据,正在成为这个世界最重要的土壤和基础。
在这个社会转型的紧要关头,中国,作为正在赶超发达国家的发展中国家,历史将赋予我们前所未有的机遇。例如,当年的美国用了几十年的努力,才建立了全民信用制度,今天,因为掌握了客户的交易流水数据,阿里巴巴在短短几分钟之内就可以决定是否发放一笔贷款。利用无处不在的充沛数据,中国的全民信用体系可能在较短的时间内、以较小的成本就可以建立起来。又如,随着网络的普及,信用卡将数据化、虚拟化,实体信用卡将大幅减少甚至消失,这意味着我们的银行不用再像美国银行那样建设那么多的物理网点和自动存取款机了。再如,因为智能在线教育平台的出现,未来的教育资源完全不会局限于钢筋水泥的学校,中国教育资源紧缺的问题可能得到快速的、大幅的缓解。此外,可穿戴式电脑设备、智能软件诊断系统、远程医疗等技术的出现,将缓解医疗资源、专业人才的紧缺。
种种机遇,可以概括为后发优势。
以银行的自动存取款机为例。从下表可以看出,近年来,中国拥有的自动存取款机在迅速增加。 2012 年,中国平均每 10 万成年人拥有的自动提款机数量为37.51 台,但和英、美、日、加等发达国家相比,我们的差距还很大:加拿大平均每 10 万成年人拥有的自动存取款机为 205 台、美国为 173 台、日本为 127 台。如果要在数据上缩小、拉平这个差距,中国肯定还需要很多年的努力。但由于大数据、互联网金融的出现和普及,大部分金融交易都可以通过虚拟账户来完成。可以预见,未来的社会一定不需要那么多实体存取款机了,如果我们现在就能立足长远、科学规划,就可以跨越建设这些存取款机的环节、省去相应的费用,这就是后发优势。
数据来源:世界银行,Automated teller machines (ATMs) (per 100 000 adults),表示没有获得当年的年度数据。
2001 年前后,华裔经济学家杨小凯先生曾经提出,如果中国仅仅重视技术模仿,而忽视制度建设,后发优势就可能转化为后发劣势,但我认为,我们当下拥有的后发优势并不属于这个范畴。现在出现的后发优势,是因为人类正在从工业文明大步迈进信息文明,因为大数据的冲击、智能社会的到来,人类的地平线上出现了一些新方法来解决一些老问题,这些方法用的不是钢筋和水泥,而是软件和数据!
但要在全球竞争中把握住这种后发优势,并不容易。国与国之间的竞争,表面上是科技竞争、经济竞争,但归根结底,还是国民素质和文化的竞争。没有一个健康、理性、与时俱进的文化,一个国家就难以变得强大,本书的努力,就是试图在中国,把数据这个科技符号变成一个文化符号,将大数据这个高端精英的话题变成一个大众话题,使数据文化进入中国人的视野、融入中国人的意识和血液。
面对一轮又一轮的技术浪潮,世界各国的政府(包括欧美发达国家)的反应其实都很迟钝。信息技术发展到今天,它已经不是在推动社会的进步,而是在拉动社会的进步。如前文所述,如今社会的各种配套设施、管制规定已经滞后于信息技术的发展,技术的能量要全部释放,社会就必须重建自己的基础设施和管制体系。回头再看美国的镀金时代和进步时代,正是在从农业社会到工业社会的转型中,美国适时地抓住了机会,不仅成功化解了当时的社会危机,还实现了大国崛起。如今一个新的社会形态又在向我们靠近,在这个转折点上,对任何一个国家而言,战略选择都特别重要,其中最大的责任和挑战,莫过于政府。
但任何一个国家的建设和进步,又不能全盘系于政府。不调动全社会的力量、没有真正的公民,国家的进步就会缺乏长期的动力,其进步就只能依靠外部的刺激和外力的拖动,结果就是:跟在发达国家背后亦步亦趋。在中国社会几千年的封建王朝更替中,不乏这样的例子和教训。公民,无数的公民,才是推动一个社会不断进步的源源动力。对于中国社会的决策者而言,关键是要意识到,新技术的能量将打破权力的平衡,在传统的界限之外,已经出现了一些新的、可调用的资源,必须要有新思路、新手段去整合、调用这些资源。
改变,并不一定代表进步,但进步,一定需要改变。我们期待中国更多的进步和改变。这系于政府,系于中国大众,更系于中国的文化革新。
(选摘自涂子沛先生新作《数据之巅》结语)
数据,自古就有,人口普查、农业统计、军事战争、政治计算数据虽小,却有助于治国安邦。美国之所以繁荣鼎盛,数据文化根基牢不可破概是主因之一。
信息爆炸、互联互通、智慧城市时代,大数据,更以排山倒海之势席卷全球,政府施政、企业掘金,大众要公平与正义,大数据被赋予了新的历史使命。
在《数据之巅》这本书中,从小数据时代到大数据的崛起,作者以宏大的历史观、文化观、大数据观,给我们描绘了一幅数据科学、智慧文化的全景图。全书从美国建国之基讲起,通过阐述初数时代、内战时代、镀金时代、进步时代、抽样时代、大数据时代的特征,系统梳理了美国数据文化的形成,阐述了其数据治国之道,论述了中国数据文化的薄弱之处,展望了未来数据世界的远景。
尊重事实,用数据说话,推崇知识和理性,用数据创新,作者不仅意在传承黄仁宇数目字管理的薪火,还试图把数据这个科技符号在中国转变为文化符号,形成一种文化话语体系。
数据分析咨询请扫描二维码
《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列技能,以确保能够有效地处理、分析和解释数据,从而支持决策制定。以下是数据分析师所需的关键技能: ...
2024-11-22数据分析师需要具备一系列的技能和能力,以确保能够有效地处理、分析和解释数据,从而支持业务决策。以下是数据分析师所需的主要 ...
2024-11-22需求持续增长 - 未来数据分析师需求将持续上升,企业对数据驱动决策的依赖加深。 - 预测到2025年,中国将需要高达220万的数据人 ...
2024-11-22《Python数据分析极简入门》 第2节 4 Pandas条件查询 在pandas中,可以使用条件筛选来选择满足特定条件的数据 importpanda ...
2024-11-22数据分析师的工作内容涉及多个方面,主要包括数据的收集、整理、分析和可视化,以支持商业决策和问题解决。以下是数据分析师的一 ...
2024-11-21数据分析师必须掌握的技能可以从多个方面进行归纳和总结。以下是数据分析师需要具备的主要技能: 统计学基础:数据分析师需要 ...
2024-11-21数据分析入门的难易程度因人而异,总体来看,入门并不算特别困难,但需要一定的学习和实践积累。 入门难度:数据分析入门相对 ...
2024-11-21数据分析是一项通过收集、整理和解释数据来发现有用信息的过程,它在现代社会中具有广泛的应用和重要性。数据分析能够帮助人们更 ...
2024-11-21数据分析行业正在迅速发展,随着技术的不断进步和数据量的爆炸式增长,企业对数据分析人才的需求也与日俱增。本文将探讨数据分析 ...
2024-11-21数据分析的常用方法包括多种技术,每种方法都有其特定的应用场景和优势。以下是几种常见的数据分析方法: 对比分析法:通过比 ...
2024-11-21企业数字化转型是指企业利用数字技术对其业务进行改造和升级,以实现提高效率、降低成本、创新业务模式等目标的过程。这一过程不 ...
2024-11-21数据分析作为一个备受追捧的职业领域,吸引着越来越多的女性加入其中。对于女生而言,在选择成为一名数据分析师时,行业选择至关 ...
2024-11-21