大数据的本质是什么,在竞争之中存在哪几误区
继物联网、云计算之后,“大数据”迅速成为大家争相传诵的热门科技概念。“大数据”作为信息社会发展的一个新生事物,目前尚处在逐渐被认识、被应用的初始阶段,无论是学术界还是IT行业对大数据的理解各有侧重,尚未形成一套完整的理论体系,因此很难进行精准的定义。根据维基百科的定义,“大数据是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理、处理的数据集合。”笔者则认为,“大数据是通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力”。
事实上大数据不是一个战场层面的技术性名词,而是一个战略层面上的社会性名词,并不是其构成数据的简单累计,是一个量变到质变的产生了飞跃的事物。也就是说,从数据到大数据,其本质已经发生了改变,如同对车的定义,并不是发动机、轮子、油管这些组件的累计。
从本质上讲,大数据是指按照一定的组织结构连接起来的数据,是非常简单而且直接的事物,但是从现象上分析,大数据所呈现出来的状态复杂多样,这是因为现象是由观察角度决定的,正如苏轼在诗里所描述的,“横看成岭侧成峰,远近高低各不同。不识庐山真面目,只缘身在此山中”。
由此可见,大数据的核心关键是组织结构,而不是构成大数据的数据本身,这个特征类似人工生命之父克里斯· 兰顿(Chris Langton)对生命的描述,“生命的本质在于物质的组织形式,而不在于物质的本身”,事实上,宇宙模型里的全部事物似乎都遵循这样的构成规则,结构和节点上的物质。
大数据的结构是一个多层次、交织关联的复杂系统结构,数据是分布在节点上的构成物质,数据之间的关联关系是由节点的位置决定的,而不是由数据本身来决定。也就是说,不同的数据位于同一个节点时,就可以获得相同的关联关系。比如张三在某个县里政府政权结构的局长位置,他就获得了这个节点位置上的所有关联关系,如果李四替换了张三,那么李四就获得了这个位置上的关联关系,而张三就会失去这个位置上的关联关系,获得他新的节点位置上的关联关系。
计算机专家对数据的划分来自直观的经验,分为结构化数据、非结构化数据、半结构化数据。这是符合人类社会发展规律的,即找到解决当前问题的方法,积累在解决问题的过程中获得的知识,利用量变产生质变的规律找到革命性的方法,把人类社会推到一个新的高度,然后再开始新的发展周期。从当前的全球社会现状来看,人类社会文明正处在发生重大变革的关键时期,中国似乎将会成为人类新文明的发源地,因为新文明的创建一定会摧毁当前文明里落后的结构体系,而不是在现有的建筑上粉饰装修,比如价值体系、道德体系等。
由此可见,不能采用传统的处理数据的方法来处理大数据,而是要采用哲学的思维对数据进行抽象的逻辑描述。在哲学思维里,数据只是位于结构节点上的存在事实,同一个数据如果位于不同的节点,则其对应的关联关系也是不同的,比如同一个苹果的数据,位于保定市节点和位于青岛市节点位置,其对应的关联关系是不同的。
按照哲学的模型思维,任何数据都是结构化数据,人们把文件、视频划分为非结构化数据类,是因为它们本身是由大量数据组成的事物,是一个具有复杂结构的事物,而这种复杂性是无法采用当前的结构化技术(数据库结构等)来描述的,如同地球包含了岩石、树木、人、马、羊等各种事物,不能采用描述马、羊的方式来准确地描述地球。当前的数据描述方式是由人们的认知空间尺度决定的,如同霍金提出的金鱼缸理论,金鱼缸的空间尺度决定了科学家的认知尺度和模式。目前对结构化数据的管理基本上是采用二维表格模型,而把不能采用二维表格模型进行存储管理的数据归类为非结构化数据。
数据是网络空间里的构成事物,如同物质是物理空间里的构成事物一样,但是能否真正达到预期的目标,成为在全球有影响力的数据集散地,核心技术、颠覆性的技术是关键。
大数据竞争中的几个误区:
(1)严格地讲,企业级的数据都不会成为大数据,无论这个企业的规模有多大。这是因为大数据是由大量不同类型的数据形成的多样化的生态应用体系,类似生物圈的食物链体系。而企业的数据只是基于满足少量应用需求而组织起来的数据,比如google的数据管理结构。大数据属于区域性的社会型数据,区域内的任何有数据需求的企业、机构或者个人,都可以从大数据里获得所需的数据。
(2)大数据是网络空间里的数据存在形式,所以在未来的网络空间竞争里,大数据是最重要也是最残酷的竞争,统一的大数据模型是网络空间的发展目标,如同星系结构模型是物理空间的唯一模型一样,在不同的观察尺度里,其结构模型是相似的。
从这个角度讲,网络空间竞争的焦点之一就是大数据模型的建立,这是通过颠覆性的技术确立模型标准的过程。网络空间的主权共享是指网络空间创建完成后的应用资源共享,并不是指共享创建网络空间的所有技术。拥有创建网络空间的源头核心技术,等同于拥有源头的控制权,相当于拥有修改网络空间结构和规则的权力。
(3)大数据是逻辑过程发生后的结果,不是逻辑过程,所以大数据本身不是方法论。为大数据提供处理方法的是云计算,弄不清楚这个关系,地方政府就很难对大数据产业进行合理有效的规划布局,企业在发展过程中也会产生迷茫。
(4)大数据里的原始数据来源具有多样性、动态性、小规模、碎片化等特征,政府部门或者机构、企业提供的专业性数据尽管数量庞大,但是也不是真正的大数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12