大数据的本质是什么,在竞争之中存在哪几误区
继物联网、云计算之后,“大数据”迅速成为大家争相传诵的热门科技概念。“大数据”作为信息社会发展的一个新生事物,目前尚处在逐渐被认识、被应用的初始阶段,无论是学术界还是IT行业对大数据的理解各有侧重,尚未形成一套完整的理论体系,因此很难进行精准的定义。根据维基百科的定义,“大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。”笔者则认为,“大数据是通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力”。
事实上大数据不是一个战场层面的技术性名词,而是一个战略层面上的社会性名词,并不是其构成数据的简单累计,是一个量变到质变的产生了飞跃的事物。也就是说,从数据到大数据,其本质已经发生了改变,如同对车的定义,并不是发动机、轮子、油管这些组件的累计。
从本质上讲,大数据是指按照一定的组织结构连接起来的数据,是非常简单而且直接的事物,但是从现象上分析,大数据所呈现出来的状态复杂多样,这是因为现象是由观察角度决定的,正如苏轼在诗里所描述的,“横看成岭侧成峰,远近高低各不同。不识庐山真面目,只缘身在此山中”。
由此可见,大数据的核心关键是组织结构,而不是构成大数据的数据本身,这个特征类似人工生命之父克里斯· 兰顿(Chris Langton)对生命的描述,“生命的本质在于物质的组织形式,而不在于物质的本身”,事实上,宇宙模型里的全部事物似乎都遵循这样的构成规则,结构和节点上的物质。
大数据的结构是一个多层次、交织关联的复杂系统结构,数据是分布在节点上的构成物质,数据之间的关联关系是由节点的位置决定的,而不是由数据本身来决定。也就是说,不同的数据位于同一个节点时,就可以获得相同的关联关系。比如张三在某个县里政府政权结构的局长位置,他就获得了这个节点位置上的所有关联关系,如果李四替换了张三,那么李四就获得了这个位置上的关联关系,而张三就会失去这个位置上的关联关系,获得他新的节点位置上的关联关系。
计算机专家对数据的划分来自直观的经验,分为结构化数据、非结构化数据、半结构化数据。这是符合人类社会发展规律的,即找到解决当前问题的方法,积累在解决问题的过程中获得的知识,利用量变产生质变的规律找到革命性的方法,把人类社会推到一个新的高度,然后再开始新的发展周期。从当前的全球社会现状来看,人类社会文明正处在发生重大变革的关键时期,中国似乎将会成为人类新文明的发源地,因为新文明的创建一定会摧毁当前文明里落后的结构体系,而不是在现有的建筑上粉饰装修,比如价值体系、道德体系等。
由此可见,不能采用传统的处理数据的方法来处理大数据,而是要采用哲学的思维对数据进行抽象的逻辑描述。在哲学思维里,数据只是位于结构节点上的存在事实,同一个数据如果位于不同的节点,则其对应的关联关系也是不同的,比如同一个苹果的数据,位于保定市节点和位于青岛市节点位置,其对应的关联关系是不同的。
按照哲学的模型思维,任何数据都是结构化数据,人们把文件、视频划分为非结构化数据类,是因为它们本身是由大量数据组成的事物,是一个具有复杂结构的事物,而这种复杂性是无法采用当前的结构化技术(数据库结构等)来描述的,如同地球包含了岩石、树木、人、马、羊等各种事物,不能采用描述马、羊的方式来准确地描述地球。当前的数据描述方式是由人们的认知空间尺度决定的,如同霍金提出的金鱼缸理论,金鱼缸的空间尺度决定了科学家的认知尺度和模式。目前对结构化数据的管理基本上是采用二维表格模型,而把不能采用二维表格模型进行存储管理的数据归类为非结构化数据。
数据是网络空间里的构成事物,如同物质是物理空间里的构成事物一样,但是能否真正达到预期的目标,成为在全球有影响力的数据集散地,核心技术、颠覆性的技术是关键。
大数据竞争中的几个误区:
(1)严格地讲,企业级的数据都不会成为大数据,无论这个企业的规模有多大。这是因为大数据是由大量不同类型的数据形成的多样化的生态应用体系,类似生物圈的食物链体系。而企业的数据只是基于满足少量应用需求而组织起来的数据,比如google的数据管理结构。大数据属于区域性的社会型数据,区域内的任何有数据需求的企业、机构或者个人,都可以从大数据里获得所需的数据。
(2)大数据是网络空间里的数据存在形式,所以在未来的网络空间竞争里,大数据是最重要也是最残酷的竞争,统一的大数据模型是网络空间的发展目标,如同星系结构模型是物理空间的唯一模型一样,在不同的观察尺度里,其结构模型是相似的。
从这个角度讲,网络空间竞争的焦点之一就是大数据模型的建立,这是通过颠覆性的技术确立模型标准的过程。网络空间的主权共享是指网络空间创建完成后的应用资源共享,并不是指共享创建网络空间的所有技术。拥有创建网络空间的源头核心技术,等同于拥有源头的控制权,相当于拥有修改网络空间结构和规则的权力。
(3)大数据是逻辑过程发生后的结果,不是逻辑过程,所以大数据本身不是方法论。为大数据提供处理方法的是云计算,弄不清楚这个关系,地方政府就很难对大数据产业进行合理有效的规划布局,企业在发展过程中也会产生迷茫。
(4)大数据里的原始数据来源具有多样性、动态性、小规模、碎片化等特征,政府部门或者机构、企业提供的专业性数据尽管数量庞大,但是也不是真正的大数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31