抢占大数据源头
在信息化的过程中,产生了结构化、半结构化和非结构化的数据,这种用电子化数据记录、传输和表示信息的方式是“智”。当这些数据达到一定的量级,数据的魅力才会显现,可以发挥出“慧”的优势,我们简称这种有价值的数据为大数据。由于人类社会财富的60%是近30年内创造的,90%的数据是近5年内记录的,大数据随着时代的发展越来越引人关注。它已经被运用到很多方面:社会管理、商业智能、军事侦察,医疗诊断等。
大数据在被获取之后,一般会被索引分类。储存在服务器的数据经过挖据、分析和处理,数据才有大作用。这个过程最为关键的是数据源,谁掌握了数据源头谁将掌握未来(但愿不是美国政府的秘密情报监视机构)。
1 直接的大数据源头——大自然
克强指数是一项用于评估中国GDP增长量的经济指标,它包含三个基本要素:工业用电量新增、铁路货运量新增和银行中长期贷款新增。这三个数据是属于人类社会源头的,可以通过统计的方法得到数据。但是,我们可以通过监测空气中二氧化碳等温室气体的含量,来反映工业用电量新增和铁路货运量,甚至可以直接利用温室气体的含量变化计算经济增长率。这就需要在不同的样本地点部署测量节点,由传感网络传递数据到处理中心,同时考虑其他数据的影响,综合历史数据,预算经济指标。
而测量节点需要总体规划,共用基础设施,可以同时测量和传输其他数据:风速、温度、降雨量、湿度、PM2.5、氧气含量,环流数据、地壳数据、森林覆盖率和动物数量、动物迁徙路径等数据。这些数据可能是数字,可能是文本、图片、音频、视频等。未来的部署模式类似现在的电信运营商,手机是节点,基站是小型处理中心。只不过数据源由人变成了大自然的状态、植物和动物。
这就是大自然的物联网。自然世界每天有大量信息产生,如果将这些信息数据化,通过云计算模式加工处理,可以帮助人们做出更好的决策、预测未知的事情。说不定,亚马孙河流域热带雨林中的蝴蝶飞行速度,和太阳表面温度息息相关。只不过人们尚未发现这种联系,已知晓的联系是乌云和下雨。
2 广泛的大数据源头——人类社会
香山衡器集团有这么一个梦想:在传统的体重秤和脂肪秤的基础上,用厨房秤自动识别食材种类(视觉搜索),记录重量;同时,通过便携式一体化的温度计、血氧仪、血压计、血糖仪、心率计等穿戴设备测量并记录身体显性健康数据,智慧地提供有关膳食结构、睡眠、心理和运动等健康解决方案。
想象一下,如果加上医院测量的隐性健康和诊断数据(扁桃体发炎、肝病、遗传病等),那么每个人完全可以拥有一个伴随一生的健康数据库,记录身体的各项指标。从最初的外界风寒或者食物的影响,到身体不适的参数变化,再到后来康复的过程,大量数据都会被记录下来。如果人群样本足够,运用大数据技术,可以分析出病理。那么,有人怀孕时,可穿戴设备能通过脉搏监测功能,提前预知并提醒,老中医的经验将被数据化;大数据处理中心能够提供健康解决方案,让人远离亚健康状态,更不用说生病了。
能够获取这些数据变得尤为重要,这是提供智慧的健康解决方案的基础。这些数据不仅有商业价值,还有社会价值和历史价值,后人将知道我们的膳食结构、生活习惯、身体指标等数据。
3大数据源头——意义非凡
然而,不仅厨房秤可以获得有关食材的数据, Google Glass
2.0或许也能识别并记录即将入口食物的数据。数据的源头是多源的,电影票房可以用电影院的座位传感器监测上座率,得到准确的数字。谷歌也能根据搜索量预测电影票房,准确率达94%。这就需要认识并挖掘大数据的价值,不能挖一口大数据源头的井,就把自己的数据井挖大,发现其中的价值。Linkedin发现雷曼兄弟的来访者忽然多了起来,就可以预见雷曼兄弟的倒闭。
在有形产品和无形产品(服务)的基础上,大数据源的价值将凸显。搜索引擎、媒体监测、点评、比价等互联网业务都是基于大量数据的,这些公司将分散凌乱的“小数据”集中起来,形成大数据,挖掘其中的价值。像Facebook、Twitter这类产品自身产生了大量数据,自然的占领了有关个人动态和社交的大数据源头,这些数据可以用作预测股市、选举结果、赛事比分等,这就是开放平台的作用,允许进行复杂的数据交互。无论是新浪微博开放平台,还是淘宝开放平台,数据是它们的核心竞争力。
这些掌握原始数据源头、分发数据的公司将炙手可热,一些自然界和人类社会尚未发现价值和挖掘的数据暗示着新的商业机会。整个大数据利用的阶段中,存储处理层是技术密集型的,但是,如果丧失了基础源头层,巧妇难为无米之炊。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
“用户旅程分析”概念 用户旅程图又叫做用户体验地图,它是用于描述用户在与产品或服务互动的过程中所经历的各个阶段、触点和情 ...
2025-01-22在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-22在数据分析领域,Excel作为一种普及率极高且功能强大的工具,无疑为无数专业人士提供了便捷的解决方案。尽管Excel自带了丰富的功 ...
2025-01-17在这个瞬息万变的时代,许多人都在寻找能让他们脱颖而出的职业。而数据分析师,作为大数据和人工智能时代的热门职业,自然吸引了 ...
2025-01-14Python作为一门功能强大的编程语言,已经成为数据分析和可视化领域的重要工具。无论你是数据分析的新手,还是经验丰富的专业人士 ...
2025-01-10完全靠数据决策,真的靠谱吗? 最近几年,“数据驱动”成了商界最火的关键词之一,但靠数据就能走天下?其实不然!那些真正成功 ...
2025-01-09SparkSQL 结构化数据处理流程及原理是什么?Spark SQL 可以使用现有的Hive元存储、SerDes 和 UDF。它可以使用 JDBC/ODB ...
2025-01-09在如今这个信息爆炸的时代,数据已然成为企业的生命线。无论是科技公司还是传统行业,数据分析正在深刻地影响着商业决策以及未来 ...
2025-01-08“数据为王”相信大家都听说过。当前,数据信息不再仅仅是传递的媒介,它成为了驱动经济发展的新燃料。对于企业而言,数据指标体 ...
2025-01-07在职场中,当你遇到问题的时候,如果感到无从下手,或者抓不到重点,可能是因为你掌握的思维模型不够多。 一个好用的思维模型, ...
2025-01-06在现代企业中,数据分析师扮演着至关重要的角色。每天都有大量数据涌入,从社交媒体到交易平台,数据以空前的速度和规模生成。面 ...
2025-01-06在职场中,许多言辞并非表面意思那么简单,有时需要听懂背后的“潜台词”。尤其在数据分析的领域里,掌握常用术语就像掌握一门新 ...
2025-01-04在当今信息化社会,数据分析已成为各行各业的核心驱动力。它不仅仅是对数字进行整理与计算,而是在数据的海洋中探寻规律,从而指 ...
2025-01-03又到一年年终时,各位打工人也迎来了展示成果的关键时刻 —— 年终述职。一份出色的年终述职报告,不仅能全面呈现你的工作价值, ...
2025-01-03在竞争激烈的商业世界中,竞品分析对于企业的发展至关重要。今天,我们就来详细聊聊数据分析师写竞品分析的那些事儿。 一、明确 ...
2025-01-03在数据分析的江湖里,有两个阵营总是争论不休。一派信奉“大即是美”,认为数据越多越好;另一派坚守“小而精”,力挺质量胜于规 ...
2025-01-02数据分析是一个复杂且多维度的过程,从数据收集到分析结果应用,每一步都是对信息的提炼与升华。可视化分析结果,以图表的形式展 ...
2025-01-02在当今的数字化时代,数据分析师扮演着一个至关重要的角色。他们如同现代企业的“解密专家”,通过解析数据为企业提供决策支持。 ...
2025-01-02数据分析报告至关重要 一份高质量的数据分析报告不仅能够揭示数据背后的真相,还能为企业决策者提供有价值的洞察和建议。 年薪 ...
2024-12-31数据分析,听起来好像是技术大咖的专属技能,但其实是一项人人都能学会的职场硬核能力!今天,我们来聊聊数据分析的核心流程,拆 ...
2024-12-31