大数据精准营销必读的“三步曲”及“两误区“
随着云时代的来临,大数据也吸引了越来越多的关注,大多行业都因沾染这两个词汇为荣。马云也表示,在接下来的社会经济发展中,数据将如过去的“石油”成为一种核心资源。
其实,上面这些搜集的数据多数是无效的。在我的文章《展会大数据精准营销,你应该知道这些事》中,明确提要一个词汇“大数据画像”,考虑到未来的营销会是精准化营销,搜集数据时一定要按数据的组合进行整理,而大数据画像很直接地告诉我们该搜集怎样的数据,由于篇幅有限,此处不过多讲解,更多请自行百度一下进行阅读。
大数据浪潮,汹涌来袭,与互联网的诞生一样,这绝不仅仅是信息技术领域的升级,更是在全球范围企业加速创新、社会加速变革的利器。现代关系学之父德鲁克说过,预测未来最好的方法,就是去创造未来。而“大数据战略”,在当下及未来某节点上能起到“给我一个杠杆,我能翘起整个地球”的效用。
大数据的应用离不开数据,从搜集、存储、分析到预测。而关于数据的收集,许多人都会觉得无从下手,那么大数据的应用真的那么难吗?
今年早些时候,一项出自Gartner的统计结果引起了我的关注。该结果称,到2018年,由于面对关于技能和整合的挑战,70%的Hadoop应用都将陷入困境。
诚然,技能与整合是会为我们带来挑战,但现如今,各个服务提供商都声称能使大数据应用变得更容易、更平滑,那么挑战与困难会出现在什么环节呢?我们从大数据项目的上游部分入手,开始分析。
1、数据收集
对于数据收集,乍一看是一项艰巨的任务。因为对于数据,不仅仅要做到全面,还要做到精准。再加上大数据收集并纳入数据湖泊(hub)的一系列工作,使人对大数据项目望洋兴叹。但是如果将数据收集问题肢解开来的话,你会发现实际操作难度系数降低了不少。
来自传统来源的数据:我们有各种传统的体系为我们作分析提供数据来源,例如会计系统、HR系统、CRM系统及专业的数据采集技术等等。通过现有的ETL技术,我们可以汇聚这些系统中的数据。大体上我们有两种选择:一种是将实体数据从数据仓库复制、替换到数据湖泊(hub),另一种是在结构上搭建数据湖泊(hub)(虚拟数据仓库的一种变体)。
来自物联网的结构化的数据:物联网中的传感器以及其他设备产生的数据会使应用变得复杂,主要原因是数据产生量与摄入量的及时匹配问题。不过这其中涉及的数据通常高度标准化,而且对上游数据转换的需求量不大。
非结构化的数据:诸如Hadoop之类的大数据平台可以简化媒体文件以及文字数据的收集工作。这些数据可以被简单地“倾倒”入数据湖泊(hub)而后加以利用,因为这些数据的存储是无结构的。
2、数据存储
数据不断增长造成单机系统性能不断下降,即使不断提升硬件配置也难以跟上数据的增长速度。因此,关于数据的存储就发展出来数据库进行存储,具体有如下几种:
并行数据库
并行数据库是指那些在无共享的体系结构中进行数据操作的数据库系统。这些系统大部分采用了关系数据模型并且支持SQL语句查询,但为了能够并行执行SQL的查询操作,系统中采用了两个关键技术:关系表的水平划分和SQL查询的分区执行。
NoSQL数据管理系统
传统关系型数据库在处理数据密集型应用方面显得力不从心,主要表现在灵活性差、扩展性差、性能差等方面。最近出现的一些存储系统摒弃了传统关系型数据库管理系统的设计思想,转而采用不同的解决方案来满足扩展性方面的需求。这些没有固定数据模式并且可以水平扩展的系统现在统称为NoSQL(有些人认为称为NoREL更为合理),这里的NoSQL指的是“Not Only SQL”,即对关系型SQL数据系统的补充。
NewSQL数据管理系统
传统数据库支持ACID和SQL等特性限制了数据库的扩展和处理海量数据的性能,因此尝试通过牺牲这些特性来提升对海量数据的存储管理能力。这种方式取消了耗费资源的缓冲池,在内存中运行整个数据库;它还摈弃了单线程服务的锁机制,也通过使用冗余机器来实现复制和故障恢复,取代原有的昂贵的恢复操作。这种可扩展、高性能的SQL数据库被称为NewSQL。
得益于自身基础设计理念,大数据平台可以无限扩展。如果大数据平台在云端运行维护,那么它的灵活性将更强,但是网络也存在较大安全问题。但是我们从整个数据的应用过程来看,至少从概念上讲,存储数据是大数据应用中最易于实现的部分。
3、数据使用(非应用)
在数据湖泊中存储了理想的数据后,我们该怎么将其加以利用呢?数据的转换、协调、确保不同数据源之间的一致性、检查数据的质量,这些是大数据应用中最难实施的部分,而且在这些方面我们可用的自动化工具少之又少。
如果我们的需求只是基于某个单一数据源开发项目,或者基于一致的数据集得出报告的话,那么我们有许多集成度高的无缝化解决方案可以使用。然而想要结合多种数据源、探索利用不同属性的数据的话,我们就不得不自行开发。
4、大数据的两个误区
大数据“万能”
个人认为,目前大多企业不具备数据应用的能力,因为大数据之间存在相关性。“一句话,即便在大数据时代,种种‘黑天鹅’事件也仍然是没有办法被准确预测到的。因为所有根据过去的理论数据模型进行的假设都无法准确推演未来,它们不过是为了未来某个黑天鹅做着准备。”
大数据涉及海量非相关数据的相关性的统计,其相关性的存在基础又是什么呢?非相关数据,很多时候两者的相关性是真相关,也可能是伪相关。需要注意,这种相关性要成为可推演的行为逻辑,首要前提就是确保这种相关性的基础是恒定不变的。
因此,我们要注意和警惕的是,大数据并非是一个万能的事物,它的缺陷在于立足于统计学基础之上,必然是会因为统计样本的变化而发生变化的。过去决定未来,是无法反映出时代进步和调整的可能性的。过去所做的推断,永远只代表了过去那个阶段为止的最高极限,本身是不会自我演化和发展的。
大数据之“大”
人们往往犯这样的错误,认为大数据越大越好。事实是数据并非越大越好,有价值的分析工具是帮助客户从海量的大数据找出真正可用于决策的数据,这些有价值的数据就是‘小数据’。”换言之,“小数据”是针对客户的特定需求概括、提炼出的数据。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
Excel是数据分析的重要工具,强大的内置功能使其成为许多分析师的首选。在日常工作中,启用Excel的数据分析工具库能够显著提升数 ...
2024-12-23在当今信息爆炸的时代,数据分析师如同一位现代社会的侦探,肩负着从海量数据中提炼出有价值信息的重任。在这个过程中,掌握一系 ...
2024-12-23在现代的职场中,制作吸引人的PPT已经成为展示信息的重要手段,而其中数据对比的有效呈现尤为关键。为了让数据在幻灯片上不仅准 ...
2024-12-23在信息泛滥的现代社会,数据分析师已成为企业决策过程中不可或缺的角色。他们的任务是从海量数据中提取有价值的洞察,帮助组织制 ...
2024-12-23在数据驱动时代,数据分析已成为各行各业的必需技能。无论是提升个人能力还是推动职业发展,选择一条适合自己的学习路线至关重要 ...
2024-12-23在准备数据分析师面试时,掌握高频考题及其解答是应对面试的关键。为了帮助大家轻松上岸,以下是10个高频考题及其详细解析,外加 ...
2024-12-20互联网数据分析师是一个热门且综合性的职业,他们通过数据挖掘和分析,为企业的业务决策和运营优化提供强有力的支持。尤其在如今 ...
2024-12-20在现代商业环境中,数据分析师是不可或缺的角色。他们的工作不仅仅是对数据进行深入分析,更是协助企业从复杂的数据信息中提炼出 ...
2024-12-20随着大数据时代的到来,数据驱动的决策方式开始受到越来越多企业的青睐。近年来,数据分析在人力资源管理中正在扮演着至关重要的 ...
2024-12-20在数据分析的世界里,表面上的技术操作只是“入门票”,而真正的高手则需要打破一些“看不见的墙”。这些“隐形天花板”限制了数 ...
2024-12-19在数据分析领域,尽管行业前景广阔、岗位需求旺盛,但实际的工作难度却远超很多人的想象。很多新手初入数据分析岗位时,常常被各 ...
2024-12-19入门数据分析,许多人都会感到“难”,但这“难”究竟难在哪儿?对于新手而言,往往不是技术不行,而是思维方式、业务理解和实践 ...
2024-12-19在如今的行业动荡背景下,数据分析师的职业前景虽然面临一些挑战,但也充满了许多新的机会。随着技术的不断发展和多领域需求的提 ...
2024-12-19在信息爆炸的时代,数据分析师如同探险家,在浩瀚的数据海洋中寻觅有价值的宝藏。这不仅需要技术上的过硬实力,还需要一种艺术家 ...
2024-12-19在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2024-12-19阿里P8、P9失业都找不到工作?是我们孤陋寡闻还是世界真的已经“癫”成这样了? 案例一:本硕都是 985,所学的专业也是当红专业 ...
2024-12-19CDA持证人Louis CDA持证人基本情况 我大学是在一个二线城市的一所普通二本院校读的,专业是旅游管理,非计算机非统计学。毕业之 ...
2024-12-18最近,知乎上有个很火的话题:“一个人为何会陷入社会底层”? 有人说,这个世界上只有一个分水岭,就是“羊水”;还有人说,一 ...
2024-12-18在这个数据驱动的时代,数据分析师的技能需求快速增长。掌握适当的编程语言不仅能增强分析能力,还能帮助分析师从海量数据中提取 ...
2024-12-17在当今信息爆炸的时代,数据分析已经成为许多行业中不可或缺的一部分。想要在这个领域脱颖而出,除了热情和毅力外,你还需要掌握 ...
2024-12-17