大数据与市场研究-数据分析师

大数据这个概念近来一直受到关注。大数据并非一个确切的概念，这个概念一方面指数据体量巨大，超出一般电脑所处理数据量几个级别；另一方面也指处理的数据类型多样化，远远超出传统数据格式和分析工具能处理的范畴。也有观点指大数据是指不用抽样方法得到的数据。在这篇文章中，我从社会学科研究方式发展的角度来阐述大数据的影响，以及大数据和市场研究的相互关系。

第一次数据化的影响 – 定性研究和定量研究

市场研究是一门应用社会学的学科，一个基本的分类就是定性研究和定量研究。简单地说，定量研究一定有数字分析，定性研究没有数字分析。大多数研究人员也各自站队为定量研究人员和定性研究人员。我们先来讨论一下这样划分的本质是什么。

在几乎所有社会科学的学科中，最一开始的数据都是非数字的。比如，我们去做问卷调查询问被访者，你家有汽车吗？如果有，我们打一个勾。在把这些答案转化为数据之后，我们可以计算有多少比例的被访者有汽车等等。这个把非数字的信息数字化的过程，我们称之为数据化。这个过程在本质上同把声音数字化和图像数字化的过程并没有区别。

因此，数据的本质都是定性的。研究人员可以选择直接处理定性数据，也可以选择多走一步数据化后处理定量数据。没有哪一种方法在本质上更好。事实上，两种方式都产生了伟大的研究。（由于篇幅限制，这里不举例说明了。）

但在现实中不容否认的是，定量研究似乎享受更高的社会地位。在西方各个社会学科定量研究发展的初期，定量研究常常和具备高级数量分析技巧的和相应工作语言的年轻博士挂钩，定量研究被认为是未来，校园里许多年老的教授和研究者困惑不已并感受到压力。许多大学都大力投资来支持定量研究，Departments of Government 被改名为Departments of Political Sciences, Departments of Speech 被改名为Departments of Communication, 即便名字没改，研究的内容已经发生变化了，社会学科转向定量研究的风潮可见一斑。那个时候年轻学者对数据的兴趣和痴迷不低于今日。归其原因，一方面由于测量理论的发展，许多研究主体数据化，定量研究从科学发展的浪潮中受益了；另一方面电脑的发展也促成了这个变化。

当电脑开始在美国大学变得不那么神秘的60年代初期，它们是不适合社会科学研究的，电脑的应用是围绕着物理科学来进行的。物理科学通常要求在很小的数据量上进行非常复杂的运算，而社会科学通常的数据量很“大”。那个时候物理科学可以拿到很多的资助，所以大部分软件和程序都是围绕物理科学开发的。直到60年代末期才出现比较强大的为社会科学研究而设计的分析软件。

70年代末的个人计算机的出现让社会科学定量研究看到了普及的希望。微型化的、能支付的起的电脑已经足够强大，可以做很多常规分析，但是它们不能处理“大”数据。碰到大的数据样本，只能手动的去计算，直到八十年代的微型电脑内存技术有了革命性的变化。新型电脑不仅能进行大样本的简单处理和分析，而且能进行复杂的运算，比如因子分析，最小空间分析等等。一个定量研究者和一台微型电脑所做的分析，就能轻易超过以前一个团队和一个机房才能做的分析。

于是，微型电脑给定量研究带来了我们所能看见的明显优势。然而，微型电脑给定性研究也带来了同样的优势，只是我们不太注意罢了。比如，以前我们做定性研究访问的时候，一般就是记笔记。现在我可以带着我的个人电脑现场记录，也可以轻松地剪辑录像仔细解读。当我们写定性报告的时候，现在可以很轻松的检索信息，旁引博证，插入图片等，还可以轻松的把文字和其它信息挪动。互联网也使得远程图书馆发展起来，对定性研究的帮助也是一日千里。

你或许觉得电脑在定性研究上的应用比起定量研究来太苍白了，但是我们仔细想一想，电脑对定量研究的贡献不也是让研究者轻松地去做过去能做但很费时费力的分析工作吗？

虽然性质相同，但定性研究和定量研究其实有自己不同的优势和劣势，他们完美的互补。一个好的研究人员应该对定性和定量都不陌生，当碰到实际问题的时候，应该能同时考虑定性和定量的选择。定性和定量都需要特殊的训练，现实中一个人精力和时间是有限的，我们也总想擅长点什么，所以偏向定性或定量就顺理成章了。但我们必须警惕专业化中潜伏的危险：定量人员会经常把统计分析的表面结果当成一切，定性人员也会经常把观点当成观察，把感觉当成发现。

时间已经证明，定性方法并没有被淹没在数据化的浪潮中。相反，定性方法和定量方法在生活中处处体现，他们或者平行或者交叉，不可分离。我们可以用数字形容汽车的速度，但不能用数字描述一个孩子的可爱。另一方面，我们知道一个人的捐赠大小是不足以测量一个人善心的，但是他们之间也不是没有关系；我们知道有高度不代表你能打篮球中锋，但没有高度你是万万不行的。定性和定量，你中有我，我中有你。

如果我们把六、七十年代数据化带给社会学科研究方法的变化 ¾ 定量研究和定性研究的分野和发展，看作是第一次数据化浪潮冲击的话，那么大数据将会给社会科学研究方式带来第二次冲击。

大数据及其分析

如今大数据带给我们社会科学研究者的两难境地就如同以前数据化带给定性研究者的两难境地一样。一方面，稍微一点想象，所有事物都可能转化为数据形式，并且给我们带来冲击。把世间万物转化为数据的需求来源于人类测量、记录和分析世界的渴望（舍恩伯格和库克耶 2013）。另一方面，我们面对大数据，却缺少分析大数据的思路、方法、甚至工具。所以不奇怪的是现在的很多社会学科研究者采取抽样的方式来分析大数据。

过去定量研究的一个关键支柱是抽样理论。过去由于获得数据的昂贵，我们倾向于用最少的数据量获得最多的信息，抽样省时省力省钱；而且由于技术分析手段的局限性，我们也只能处理分析“小数据”。那如何保证抽样的结果能比较客观的代表总体呢？依据所研究的问题，满足随机抽样（经典抽样）或最优抽样的标准，就能最大限度的保证精确性。抽样理论实际上获得了巨大成功，成为现代社会、现代测量领域的支柱。

抽样数据相比全体数据是在不可收集和分析全部数据的情况下的选择。在数据成本越来越低的时代，促使我们来使用样本数据的经济原因已经被撼动。另外，样本数据的成功取决于抽样的随机性，但在抽样的实际工作中保证随机性是非常困难的。我们市场研究的同事都知道，当前无论采用什么方法做抽样，比如电话，入户，街头拦截等等，有一系列的操作上的障碍使你无法保证样本的随机性。祝建华教授在一次讨论中提到，如果抽样的对象很复杂，比如“网络”，那么根本找不到一个最优抽样的判断标准，更不可能奢求以抽样求得的小网络能反映大网络的情况。

另一个我们不主张使用样本数据来研究大数据的理由是，样本数据会给我们的分析方法带来困惑和障碍。举个例子，我们做回归分析的时候，变量之间的多元共线性是一个严重干扰我们估计Beta的因素。但是当样本扩大到非常大的时候，这个影响趋于零。这一点无论是通过模拟数据还是真实数据都得到了验证。我们有文章在AMA的会议上发表。

样本数据一旦收集完成，它的应用就相应的缺乏延展性。比如，我们难以或者不可以重新分析这些数据以验证计划之外的想法；当我们的分析单位越来越小的时候，样本数据的错误率变得越来越高，因为落到一个分析单位上的样本量越来越小；样本数据常常不能帮助我们完成对异常或小概率事件的分析，而发现和预测这些小概率事件常常是数据分析的一个重要目的。

那么，大数据研究的目的是什么呢？ 通常在社会科学领域中，我们的研究目的是发现和验证事物之间的因果关系，然而发现和分析因果关系是非常困难的一项任务。例如一个14岁的初中学生跳楼了，是什么原因导致他这种行为呢？媒体对其他青少年相似行为的报导？社会大环境所致？学校功课的压力？家庭不和睦？个人心理状态？和同学吵架之后的过激念头导致？……我们可以列出上百种可能的因素，因为社会现象之复杂，各种事物之间确实有存在着千丝万缕的联系。我们当然很容易说这些因素都有可能是原因，也可以简而化之说学校压力是主因，但这些表述对我们没有任何价值。

因果关系的成立是有一系列严格条件的。在各社会学科研究中，我们通常从建立假设开始，然后进行实验设计和抽样，通过对比检验，这个假设或者成立或者被推翻。所建立的假设通常来源于定性研究、理论、其它研究或者灵感。即便假设成立，因为抽样的原因和其它因素，也要明确其适用范围，整个过程费时费力。美国著名社会学家厄尔•芭比博士曾经指出，社会科学研究结果的最佳表述方式是概率，是相关关系，而非因果关系。这一点与舍恩伯格在《大数据时代》中提倡的“转向相关关系”分析有异曲同工之妙。

舍恩伯格提倡在大数据的分析中，人们应该从对于因果关系的追求中解脱出来，转而将注意力放在相关关系的发现和使用上来。只要发现了事物之间的相关关系，那么就已经能产生巨大的经济和社会效益。他通过实际的案例说明，大数据和相关分析的结合已经产生了许多巨大的发现，并且由于数据大，能够令我们更有机会发现有价值的局部相关关系。

在小样本时代，数据稀缺，所以我们首先追求数据精确，其次追求结果精确。但大数据时代，数据之杂，不可能精确，追求数据的精确就会导致我们寸步难行，数据不精确会成为一个常态，也是世界的本质。数据不精确，结果也很难“精确”。但机器学习理论和实践都证明，允许数据的混杂和不精确，我们分析所得出的结论才更有延展性和外部适用性。

因为大数据中很大比例是文本数据，分析的很大障碍是机器的语义分析能力。只有具备了一定的语义分析能力，机器分析才有价值，文本形式的大数据才能得到有效分析。目前的大多数语义分析能力都是采用有监督的机器学习。机器学习包括训练集的质量，训练集规模和机器学习算法，训练集的质量是可以采用人工标注的方式来提高。此外，对市场研究而言，品类知识也是需要机器事先储备的。

可以想象，未来云计算和云储存的普及，大数据分析方法的发展以及针对大数据的智能软件的开发，将会为个人处理分析大数据提供必要的物质条件，就如同七、八十年代微型计算机、内存和相应软件的开发会为定量研究带来的变化一样。

大数据时代传统市场研究的价值

大数据带来的数据化浪潮已经触动市场研究的每一个人。Joan Lewis，宝洁全球客户和市场知识官, 2011年ARF的演讲中呼吁要让社会化媒体的大数据应用于市场研究。她讲到了以下几点：

•  数据的丰富性和自主性      社会化媒体数据包含了消费者的购买习惯，用户需求，品牌偏好等，且都是消费者自愿表述的对产品满意度和质量问题的想法，充满了情感因素，我们无需费尽心思的引导消费者参与调查问卷
•  减少研究的“未知”视角　市场问卷调查有其固有的局限性，那就是你必须明确你的问题是什么。问卷设计者本身有未知的方面，所以在设计问题时会忽略自己的“未知”，但这些“未知”很有可能就是消费者所需要的方面
• 数据的实时化的特征　不同于以往的发放回收市场调研报告再解决消费者问题，如今可以使营销人员快速发起营销活动，第一时间测试营销新方法，同时可以第一时间确认理解和追踪消费者的反馈
• 数据的低投入特征     传统的市场调研方式费工费时，结合社会化媒体的市场调研则是低投入高回报的产业。使用正确的调研产品和方法便可以对消费者群体的用户习惯和反馈进行透彻分析。运用社会化媒体监测软件帮助企业在线倾听消费者意见，评估获取其见解。

市场研究的使命是揭示消费者视角，为企业提供有价值的洞察和支持企业做出有意义的决策。从这个意义上来说，每一个市场研究人员都应该为社会化媒体平台和数据欢呼，因为它弥补了问卷数据一些方面的不足。（你是不是经常会发现，当我们从事另一个领域的工作时，才会意识到原来工作方法的不足和优点。）另一方面，针对社会化媒体数据分析的新兴公司确实对传统的市场研究公司形成竞争和挑战。

竞争的最大压力是传统的市场研究还没有适应社会化媒体大数据时代的研究体系。正如Joe Tripodi (可口可乐营销副总裁)在《哈佛商业评论》（2011年4月）上指出的，“在印象时代，通过问卷询问方式获取的知名度，使用率，认知度等衡量品牌健康的指标体系，在消费者表达的时代就未必适用。因此，从品牌建设效果衡量的角度，也需要一套适应消费者表达时代的指标体系。”同时，尽管对大数据的整合与分析才刚刚起步，但已经有了一系列令人耳目一新的发现和应用。无数的案例和论著都指出，大数据的整合和分析，其前景和应用不可限量。

传统的市场研究的价值在哪里？或者说，其应该坚守什么才更有价值？

• 坚持深度    坚持基于人类本性的研究框架（陈富国，MetaThink的CEO，2012在CMRA会议上的演讲）。人的行为和态度归根结底是人的本性来决定的，坚持对人类本性的研究才能更好的帮助我们深度理解人类行为模式，以及动察人类行为的变迁。加强对生活本质、生活价值和生命认知的理解，加强对于“意义、“需要”、“体验”和“情感”等等人类内部语言和图式的挖掘。机器不但缺乏“体验”和“情感”，而且缺乏对“意义”和“需要”的理解。由于人类本身具有的抽象思维和语言文本分析能力，正能达到我们在此一领域所需要的深度。
• 坚持广度 坚持人与自然，人与社会的研究广度。人类的行为模式是在与自然环境和社会环境的互动中演进的，演进的过程复杂而又有趣。加强对于“个人与群体”，“群体与群体”等等社会群体内部形式和意义的挖掘。互联网已经深刻地改变了人类的群体构成方式（Hayes 2010），而对其意义的思考和挖掘才刚刚起步。
• 坚持实验设计  实验设计的本质是“控制”。在半人工的环境里我们控制一些因素来测试这些因素的影响和结果，这种研究常被用来探究营销和产品元素的影响。这种方法直接，且非常有效果。例如基于实验设计的联合分析，具有坚实的科学依据，它主要以实验设计科学和数学心理学为基础。到目前为止，联合分析已经发展成为一种含有多种方法的体系，并改变了许多企业的新产品开发过程和市场战略。许多出色的产品，比如麦斯威尔咖啡，拍宝面酱，Courtyard酒店等等，都是联合分析的产出。除此之外，联合分析方法在统计学上的严谨性和灵活性也受到其它领域从业人员和学者的关注，并被大量应用于交通研究、政府政策、医学、经济学以及政治科学等领域。
•  坚持模型化  模型，简单的说，就是一种事物之间联系和运作的方式。开发模型（探索事物之间的联系和运作方式）是一个非常艰苦的过程，但一旦模型成立，却能极大的简化人们的思维和决策过程。营销人员在繁杂的运作中，需要找到营销元素之间的关联，市场研究要坚持能立足于这一点。
• 坚持发展测量工具 市场研究本质就是测量，但测量需要测量工具和方法。营销在目前有许多相对抽象的概念，没有对这些概念以及概念之间关系的测量，就没有营销大的发展，比如品牌资产，购买意向等等。

坚持这些原则和方法并不排斥社会化媒体和大数据。恰恰相反，社会化媒体为我们提供了观察和理解消费者互联网生活的平台，毕竟互联网已经成为年轻消费者生活的一个重要组成部分。大数据的分析可能会把许多以前看似不相关的变量联系起来，这种联系会为我们更好的洞察消费者提供线索和引领，也会为我们开发数理模型提供更多的变量和思路。

结束语

回顾历史，我们意识到第一次数据化（“大”数据）浪潮带给社会科学研究方式的影响和变化；思考现在，我们充分理解大数据（第二次数据化）浪潮带给我们社会科学研究者的困惑、迷茫和不解，伴随着震撼、惊喜和欢呼；展望未来，我们深信市场研究正处在量变通往质变的道路上。