大数据时代的小数据营销过时了吗_数据分析师考试
在大数据大行其道之时,我们积累了几十年、上百年的小数据处理方法是否就意味着过时了呢?
要回答这个问题,我们还是要先从小数据的定义入手。
目前网络和行业都缺乏对小数据的标准定义,在美国、乃至台湾有一种关于小数据的定义,认为相对于服务趋势和战略的大数据而言,那些服务于个体而形成的数据指标,应该称之为小数据。举例来说,谷歌根据人们在搜索引擎使用的关键词的相关性,判断H1N1流感趋势,为卫生防疫部门提供预防决策属于大数据的典型应用;而耐克和苹果合作开发的“Nike+”软件,为个人的健康和锻炼提供的数据指标和参考,就属于小数据的典型范畴。
我想说的是,如果从维克托的大数据使用的三个原则和标准,我们可以清楚的看到,他所意指的小数据更多的是我们沿用传统方法收集和整理的数据。而这本书的序作者之一的谢文也明确表示,在互联网技术席卷的今天,整个世界会明显地划分为大数据时代、小数据时代、无数据时代,小数据的时代指向更加明显。
所以,我们定义的小数据,应该是在信息和数据不完整的情况下,通过科学抽样和技术调整,为个体或某类具体问题提供数据参考的数据包。
弄清楚了小数据的定义,我们来看看小数据相对于大数据,是不是真的已经out了?
一、整体数据是不是一定优于抽样数据?
互联网技术的发展,为收集整体数据而产生的成本下降直至忽略不计提供了可能,而传统数据的收集方法是在平衡成本和精确之下,选择规范的抽样方法,两者在数量级的比较上就不在一个体量级。从统计的精确度上来说,数据越大,精确度越高,结果也会更加逼近于真相。当年传统的数据处理,正是受制于数据越多成本越大,或者某些现实条件,无法穷尽数据,才不得已采取了抽样分析的折中办法。从数量的角度讲,大数据确实要优于小数据。
但是,小数据分析方法,比如样本方差,尽可能用各类参数将样本与整体之间的差异缩小,让结果无限逼近真实,在趋势和策略判断上,抽样判断和整体判断,其实很多时候都是五十步和一百步的区别;另一方面,小数据时代积累的各类数据处理方法,也仍然是大数据时代数据处理的基础和原则,抛弃小数据来谈大数据,大数据也将是无源之水、无本之木。
二、小数据处理数据的原则是效率优先、精确为辅。
大数据使用的第二个原则追求效率而不是绝对精确,需要重点提到的是,小数据处理体系的存在,正是建立在追求效率而不是绝对精确之上。小数据营销FromEMKT.com.cn一般是针对某类具体问题,在特定的时间段里,需要开展数据的收集、整理和分析,并得出结论以做行动参考。小数据营销更符合实战营销中,不可能在信息完整情况下再进行判断的现实。今天乃至以后很长一段时间的营销现实是:我们必须在竞争对手信息不完整、消费者信息不完整、市场信息不完整等诸多现实情况下,在指定的时间前,做出判断和决策,并付诸于行动。时机就是战机,等到所有信息都完整了,黄花菜也凉了。所以,小数据才会有用抽样代替整体的选择。
另一个现实情况是,在现阶段甚至很长的一段时间里,靠互联网自动采集所有数据还不现实,技术的发展和普及需要时间,很多数据还无法实现网络化,比如因为现实的财务、税务问题,采集经销商的数据就一直是个难点,ERP喊了多少年,进销存喊了多少年,在上了系统的企业里面,经销商的相关数据有多少水分,每个企业都心知肚明。
三、小数据具体问题的个性化处理,更偏重于因果关系而不是相关关系。
维克托提到大数据的第三个原则,就是大数据更注重相关关系而不是因果关系,即两组数据的相关性是数据处理的第一要务,至于为什么相关,这个问题交给计算机自己处理。相关性和因果性,孰轻孰重,《大数据时代》的译者周涛也曾表达了不同观点。我们常说某人读书不求甚解,通常是指其知其然,而不知其所以然。今天大数据将“所以然”的东西交给计算机,使用者只对“然”负责,我和朋友调侃说,这也许是机器统治人类的第一步。
在高度繁荣的信息社会,你要确保计算机“所以然”是可控的,得有两个前提:一个是计算编程的逻辑在开始设定时就是正确的;一个是机器进行海量数据处理时,自身不会因为“疲劳”等因素造成计算错误,而这正是大数据面临的问题。
小数据由于是针对特定问题开展的数据收集、处理和分析,人的因素比较大,大数据的短处正好成为了TA的长处,在数据的处理过程当中,目的的指向性和人与数据的互动会更加有效。
关于大数据相关性的问题,我曾看到一个网上的段子,问影响人寿命长短的因素有哪些,有人通过相关分析得出,一个人庆祝生日的次数与寿命的长短成正比,换句话说,一个人要长寿就要多庆祝生日。稍有常识的人,都知道这是一个逗比的笑话,但是当计算机给出其他的错误相关结果时,我们有多少人能够用常识判断出,这是否是又一个逗比的结果?
用小数据抵制甚至漠视大数据时代的到来,是逆潮流而动的掩耳盗铃;但用大数据时代来否认小数据的价值,是将大数据的历史和未来进行割裂,依然停留在伪数据时代。
数据分析咨询请扫描二维码
统计学基础 - 理解统计学的基本概念和方法是数据分析师必备的技能之一。统计学为他们提供了处理数据、进行推断和建模的基础。 数 ...
2024-11-25数据分析师在如今信息爆炸的时代扮演着至关重要的角色。他们不仅需要具备扎实的数据分析技能,还需要不断学习和适应不断发展的技 ...
2024-11-25数据分析师的工作职责涉及多个关键方面,从数据的获取到处理、分析再到可视化,旨在为企业的决策提供有力支持。让我们深入了解数 ...
2024-11-25数据分析师:洞察力量的引擎 数据分析师的兴起 数据分析师行业目前正处于快速发展阶段,市场需求持续增长,薪资水平也有所提升。 ...
2024-11-25数据收集与整理 - 从各种来源收集数据,清洗和整理以确保数据质量和可用性。 数据分析与建模 - 运用统计学方法和机器学习模型对 ...
2024-11-25数据分析是当今社会中不可或缺的一项技能,涵盖了广泛的工具和技术。其中,掌握各种数据处理函数对于数据分析师至关重要。本文将 ...
2024-11-25“大数据治理”是一个涵盖广泛的复杂概念,其核心在于确保大规模、多样化的数据资源能够被有效管理和利用。不仅涉及数据的采集、 ...
2024-11-25一、引言 背景介绍 随着信息技术的快速发展和互联网的普及,大数据已经成为现代社会的重要资产。大数据的兴起不仅推动了各行各业 ...
2024-11-25《Python数据分析极简入门》 第2节 7 Pandas分组聚合 分组聚合(group by)顾名思义就是分2步: 先分组:根据某列数据的值进行 ...
2024-11-25数据分析需要学习的内容非常广泛,涵盖了从理论知识到实际技能的多个方面。以下是数据分析所需学习的主要内容: 数学和统计学 ...
2024-11-24数据分析师需要具备一系列多方面的技能和能力,以应对复杂的数据分析任务和业务需求。以下是数据分析师所需的主要能力: 统计 ...
2024-11-24数据分析师需要学习的课程内容非常广泛,涵盖了从基础理论到实际应用的多个方面。以下是根据我搜索到的资料整理出的数据分析师需 ...
2024-11-24《Python数据分析极简入门》 第2节 6 Pandas合并连接 在pandas中,有多种方法可以合并和拼接数据。常见的方法包括append()、conc ...
2024-11-24《Python数据分析极简入门》 第2节 5 Pandas数学计算 importpandasaspdd=np.array([[81,&n ...
2024-11-23数据分析涉及多个方面的学习,包括理论知识和实践技能。以下是数据分析需要学习的主要方面: 基础知识: 数据分析的基本概念 ...
2024-11-22数据分析适合在多个单位工作,包括但不限于以下领域: 金融行业:金融行业对数据分析人才的需求非常大,数据分析师可以从事经 ...
2024-11-22数据分析是一种涉及从大量数据中提取有用信息和洞察力的过程。其工作内容主要包括以下几个方面: 数据收集与整理:数据分析师 ...
2024-11-22数据分析师需要掌握多种技能,以确保能够有效地处理和分析数据,并为业务决策提供支持。以下是数据分析师需要掌握的主要技能: ...
2024-11-22数据开发和数据分析是两个密切相关但又有所区别的领域。以下是它们的主要区别: 定义和目标: 数据开发:数据开发涉及数据的 ...
2024-11-22数据架构师是负责设计和管理企业数据架构的关键角色,其职责涵盖了多个方面,包括数据治理、数据模型设计、数据仓库构建、数据安 ...
2024-11-22