统计学和数据挖掘关系

1． 简介

统计学和数据挖掘有着共同的目标：发现数据中的结构。事实上，由于它们的目标相似，一些人（尤其是统计学家）认为数据挖掘是统计学的分支。这是一个不切合实际的看法。因为数据挖掘还应用了其它领域的思想、工具和方法，尤其是计算机学科，例如数据库技术和机器学习，而且它所关注的某些领域和统计学家所关注的有很大不同。

统计学和数据挖掘研究目标的重迭自然导致了迷惑。事实上，有时候还导致了反感。统计学有着正统的理论基础（尤其是经过本世纪的发展），而现在又出现了一个新的学科，有新的主人，而且声称要解决统计学家们以前认为是他们领域的问题。这必然会引起关注。更多的是因为这门新学科有着一个吸引人的名字，势必会引发大家的兴趣和好奇。把“数据挖掘”这个术语所潜在的承诺和“统计学”作比较的话，统计的最初含义是“陈述事实”，以及找出枯燥的大量数据背后的有意义的信息。当然，统计学的现代的含义已经有很大不同的事实。而且，这门新学科同商业有特殊的关联（尽管它还有科学及其它方面的应用）。

本文的目的是逐个考察这两门学科的性质，区分它们的异同，并关注与数据挖掘相关联的一些难题。首先，我们注意到“数据挖掘”对统计学家来说并不陌生。例如，Everitt定义它为：“仅仅是考察大量的数据驱动的模型，从中发现最适合的”。统计学家因而会忽略对数据进行特别的分析，因为他们知道太细致的研究却难以发现明显的结构。尽管如此，事实上大量的数据可能包含不可预测的但很有价值的结构。而这恰恰引起了注意，也是当前数据挖掘的任务。

2． 统计学的性质

试图为统计学下一个太宽泛的定义是没有意义的。尽管可能做到，但会引来很多异议。相反，我要关注统计学不同于数据挖掘的特性。

差异之一同上节中最后一段提到的相关，即统计学是一门比较保守的学科，目前有一种趋势是越来越精确。当然，这本身并不是坏事，只有越精确才能避免错误，发现真理。但是如果过度的话则是有害的。这个保守的观点源于统计学是数学的分支这样一个看法，我是不同意这个观点的。尽管统计学确实以数学为基础（正如物理和工程也以数学为基础，但没有被认为是数学的分支），但它同其它学科还有紧密的联系。

数学背景和追求精确加强了这样一个趋势：在采用一个方法之前先要证明，而不是象计算机科学和机器学习那样注重经验。这就意味着有时候和统计学家关注同一问题的其它领域的研究者提出一个很明显有用的方法，但它却不能被证明（或还不能被证明）。统计杂志倾向于发表经过数学证明的方法而不是一些特殊方法。数据挖掘作为几门学科的综合，已经从机器学习那里继承了实验的态度。这并不意味着数据挖掘工作者不注重精确，而只是说明如果方法不能产生结果的话就会被放弃。

正是统计文献显示了（或夸大了）统计的数学精确性。同时还显示了其对推理的侧重。尽管统计学的一些分支也侧重于描述，但是浏览一下统计论文的话就会发现这些文献的核心问题就是在观察了样本的情况下如何去推断总体。当然这也常常是数据挖掘所关注的。下面我们会提到数据挖掘的一个特定属性就是要处理的是一个大数据集。这就意味着，由于可行性的原因，我们常常得到的只是一个样本，但是需要描述样本取自的那个大数据集。然而，数据挖掘问题常常可以得到数据总体，例如关于一个公司的所有职工数据，数据库中的所有客户资料，去年的所有业务。在这种情形下，推断就没有价值了（例如，年度业务的平均值），因为观测到的值也就是估计参数。这就意味着，建立的统计模型可能会利用一系列概率表述（例如，一些参数接近于0，则会从模型中剔除掉），但当总体数据可以获得的话，在数据挖掘中则变得毫无意义。在这里，我们可以很方便的应用评估函数：针对数据的足够的表述。事实是，常常所关注的是模型是否合适而不是它的可行性，在很多情形下，使得模型的发现很容易。例如，在寻找规则时常常会利用吻合度的单纯特性（例如，应用分支定理）。但当我们应用概率陈述时则不会得到这些特性。

统计学和数据挖掘部分交迭的第三个特性是在现代统计学中起核心作用的“模型”。或许“模型”这个术语更多的含义是变化。一方面，统计学模型是基于分析变量间的联系，但另一方面这些模型关于数据的总体描述确实没有道理的。关于信用卡业务的回归模型可能会把收入作为一个独立的变量，因为一般认为高收入会导致大的业务。这可能是一个理论模型（尽管基于一个不牢靠的理论）。与此相反，只需在一些可能具有解释意义的变量基础上进行逐步的搜索，从而获得一个有很大预测价值的模型，尽管不能作出合理的解释。（通过数据挖掘去发现一个模型的时候，常常关注的就是后者）。

还有其它方法可以区分统计模型，但在这里我将不作探讨。这里我想关注的是，现代统计学是以模型为主的。而计算，模型选择条件是次要的，只是如何建立一个好的模型。但在数据挖掘中，却不完全是如此。在数据挖掘中，准则起了核心的作用。（当然在统计学中有一些以准则为中心的独立的特例。Gifi的关于学校的非线性多变量分析就是其中之一。例如，Gifi说，给定一些最常用的MVA（多变量分析）问题，既可以从模型出发也可以技术出发。正如我们已经在1.1节所看到的基于模型的经典的多变量统计分析，……然而，在很多情形下，模型的选择并不都是显而易见的，选择一个合适的模型是不可能的，最合适的计算方法也是不可行的。在这种情形下，我们从另外一个角度出发，应用设计的一系列技术来回答MVA问题，暂不考虑模型和最优判别的选择。

相对于统计学而言，准则在数据挖掘中起着更为核心的作用并不奇怪，数据挖掘所继承的学科如计算机科学及相关学科也是如此。数据集的规模常常意味着传统的统计学准则不适合数据挖掘问题，不得不重新设计。部分地，当数据点被逐一应用以更新估计量，适应性和连续性的准则常常是必须的。尽管一些统计学的准则已经得到发展，但更多的应用是机器学习。（正如“学习”所示的那样）

很多情况下，数据挖掘的本质是很偶然的发现非预期但很有价值的信息。这说明数据挖掘过程本质上是实验性的。这和确定性的分析是不同的。（实际上，一个人是不能完全确定一个理论的，只能提供证据和不确定的证据。）确定性分析着眼于最适合的模型－建立一个推荐模型，这个模型也许不能很好的解释观测到的数据。很多，或许是大部分统计分析提出的是确定性的分析。然而，实验性的数据分析对于统计学并不是新生事务，或许这是统计学家应该考虑作为统计学的另一个基石，而这已经是数据挖掘的基石。所有这些都是正确的，但事实上，数据挖掘所遇到的数据集按统计标准来看都是巨大的。在这种情况下，统计工具可能会失效：百万个偶然因素可能就会使其失效。

如果数据挖掘的主要目的是发现，那它就不关心统计学领域中的在回答一个特定的问题之前，如何很好的搜集数据，例如实验设计和调查设计。数据挖掘本质上假想数据已经被搜集好，关注的只是如何发现其中的秘密。

3． 数据挖掘的性质

由于统计学基础的建立在计算机的发明和发展之前，所以常用的统计学工具包含很多可以手工实现的方法。因此，对于很多统计学家来说，1000个数据就已经是很大的了。但这个“大”对于英国大的信用卡公司每年350,000,000笔业务或AT&T每天200,000,000个长途呼叫来说相差太远了。很明显，面对这么多的数据，则需要设计不同于那些“原则上可以用手工实现”的方法。这意味这计算机（正是计算机使得大数据可能实现）对于数据的分析和处理是关键的。分析者直接处理数据将变得不可行。相反，计算机在分析者和数据之间起到了必要的过滤的作用。这也是数据挖掘特别注重准则的另一原因。尽管有必要，把分析者和数据分离开很明显导致了一些关联任务。这里就有一个真正的危险：非预期的模式可能会误导分析者，这一点我下面会讨论。

我不认为在现代统计中计算机不是一个重要的工具。它们确实是，并不是因为数据的规模。对数据的精确分析方法如bootstrap方法、随机测试，迭代估计方法以及比较适合的复杂的模型正是有了计算机才是可能的。计算机已经使得传统统计模型的视野大大的扩展了，还促进了新工具的飞速发展。

下面来关注一下歪曲数据的非预期的模式出现的可能性。这和数据质量相关。所有数据分析的结论依赖于数据质量。GIGO的意思是垃圾进，垃圾出，它的引用到处可见。一个数据分析者，无论他多聪明，也不可能从垃圾中发现宝石。对于大的数据集，尤其是要发现精细的小型或偏离常规的模型的时候，这个问题尤其突出。当一个人在寻找百万分之一的模型的时候，第二个小数位的偏离就会起作用。一个经验丰富的人对于此类最常见的问题会比较警觉，但出错的可能性太多了。

此类问题可能在两个层次上产生。第一个是微观层次，即个人记录。例如，特殊的属性可能丢失或输错了。我知道一个案例，由于挖掘者不知道，丢失的数据被记录为99而作为真实的数据处理。第二个是宏观层次，整个数据集被一些选择机制所歪曲。交通事故为此提供了一个好的示例。越严重的、致命的事故，其记录越精确，但小的或没有伤害的事故的记录却没有那么精确。事实上，很高比例的数据根本没有记录。这就造成了一个歪曲的映象－可能会导致错误的结论。

统计学很少会关注实时分析，然而数据挖掘问题常常需要这些。例如，银行事务每天都会发生，没有人能等三个月得到一个可能的欺诈的分析。类似的问题发生在总体随时间变化的情形。我的研究组有明确的例子显示银行债务的申请随时间、竞争环境、经济波动而变化。

至此，我们已经论述了数据分析的问题，说明了数据挖掘和统计学的差异，尽管有一定的重迭。但是，数据挖掘者也不可持完全非统计的观点。首先来看一个例子：获得数据的问题。统计学家往往把数据看成一个按变量交叉分类的平面表，存储于计算机等待分析。如果数据量较小，可以读到内存，但在许多数据挖掘问题中这是不可能的。更糟糕的是，大量的数据常常分布在不同的计算机上。或许极端的是，数据分布在全球互联网上。此类问题使得获得一个简单的样本不大可能。（先不管分析“整个数据集”的可能性，如果数据是不断变化的这一概念可能是不存在的，例如电话呼叫）

当描述数据挖掘技术的时候，我发现依据以建立模型还是模式发现为目的可以很方便的区分两类常见的工具。我已经提到了模型概念在统计学中的核心作用。在建立模型的时候，尽量要概括所有的数据，以及识别、描述分布的形状。这样的“全”模型的例子如对一系列数据的聚类分析，回归预测模型，以及基于树的分类法则。相反，在模式发现中，则是尽量识别小的（但不一定不重要）偏差，发现行为的异常模式。例如EEG轨迹中的零星波形、信用卡使用中的异常消费模式，以及不同于其它特征的对象。很多时候，这第二种实验是数据挖掘的本质－试图发现渣滓中的金块。然而，第一类实验也是重要的。当关注的是全局模型的建立的话，样本是可取的（可以基于一个十万大小的样本发现重要的特性，这和基于一个千万大小的样本是等效的，尽管这部分的取决于我们想法的模型的特征。然而，模式发现不同于此。仅选择一个样本的话可能会忽略所希望检测的情形。

尽管统计学主要关注的是分析定量数据，数据挖掘的多来源意味着还需要处理其它形式的数据。特别的，逻辑数据越来越多－例如当要发现的模式由连接的和分离的要素组成的时候。类似的，有时候会碰到高度有序的结构。分析的要素可能是图象，文本，语言信号，或者甚至完全是（例如，在交替分析中）科学研究资料。

4． 讨论

数据挖掘有时候是一次性的实验。这是一个误解。它更应该被看作是一个不断的过程（尽管数据集时确定的）。从一个角度检查数据可以解释结果，以相关的观点检查可能会更接近等等。关键是，除了极少的情形下，很少知道哪一类模式是有意义的。数据挖掘的本质是发现非预期的模式－同样非预期的模式要以非预期的方法来发现。

与把数据挖掘作为一个过程的观点相关联的是认识到结果的新颖性。许多数据挖掘的结果是我们所期望的－可以回顾。然而，可以解释这个事实并不能否定挖掘出它们的价值。没有这些实验，可能根本不会想到这些。实际上，只有那些可以依据过去经验形成的合理的解释的结构才会是有价值的。

显然在数据挖掘存在着一个潜在的机会。在大数据集中发现模式的可能性当然存在，大数据集的数量与日俱增。然而，也不应就此掩盖危险。所有真正的数据集（即使那些是以完全自动方式搜集的数据）都有产生错误的可能。关于人的数据集（例如事务和行为数据）尤其有这种可能。这很好的解释了绝大部分在数据中发现的“非预期的结构”本质上是无意义的，而是因为偏离了理想的过程。（当然，这样的结构可能会是有意义的：如果数据有问题，可能会干扰搜集数据的目的，最好还是了解它们）。与此相关联的是如何确保（和至少为事实提供支持）任何所观察到的模式是“真实的”，它们反应了一些潜在的结构和关联而不仅仅是一个特殊的数据集，由于一个随机的样本碰巧发生。在这里，记分方法可能是相关的，但需要更多的统计学家和数据挖掘工作者的研究。