数据挖掘讨论区

来源：互联网   发布日期：2011-08-18 16:08:30   浏览：18142次  

统计学和数据挖掘：交叉学科（转帖）
摘要：统计学和数据挖掘有很多共同点，但与此同时它们也有很多差异。本文讨论了两门学科的性质，重点论述它们的异同。
关键词：统计学 知识发现
1．  简介
统计学和数据挖掘有着共同的目标：发现数据中的结构。事实上，由于它们的目标相似，一些人（尤其是统计学家）认为数据挖掘是统计学的分支。这是一个不切合实际的看法。因为数据挖掘还应用了其它领域的思想、工具和方法，尤其是计算机学科，例如数据库技术和机器学习，而且它所关注的某些领域和统计学家所关注的有很大不同。

统计学和数据挖掘研究目标的重迭自然导致了迷惑。事实上，有时候还导致了反感。统计学有着正统的理论基础（尤其是经过本世纪的发展），而现在又出现了一个新的学科，有新的主人，而且声称要解决统计学家们以前认为是他们领域的问题。这必然会引起关注。更多的是因为这门新学科有着一个吸引人的名字，势必会引发大家的兴趣和好奇。把“数据挖掘”这个术语所潜在的承诺和“统计学”作比较的话，统计的最初含义是“陈述事实”，以及找出枯燥的大量数据背后的有意义的信息。当然，统计学的现代的含义已经有很大不同的事实。而且，这门新学科同商业有特殊的关联（尽管它还有科学及其它方面的应用）。
本文的目的是逐个考察这两门学科的性质，区分它们的异同，并关注与数据挖掘相关联的一些难题。首先，我们注意到“数据挖掘”对统计学家来说并不陌生。例如，Everitt定义它为：“仅仅是考察大量的数据驱动的模型，从中发现最适合的”。统计学家因而会忽略对数据进行特别的分析，因为他们知道太细致的研究却难以发现明显的结构。尽管如此，事实上大量的数据可能包含不可预测的但很有价值的结构。而这恰恰引起了注意，也是当前数据挖掘的任务。
2．  统计学的性质
试图为统计学下一个太宽泛的定义是没有意义的。尽管可能做到，但会引来很多异议。相反，我要关注统计学不同于数据挖掘的特性。
差异之一同上节中最后一段提到的相关，即统计学是一门比较保守的学科，目前有一种趋势是越来越精确。当然，这本身并不是坏事，只有越精确才能避免错误，发现真理。但是如果过度的话则是有害的。这个保守的观点源于统计学是数学的分支这样一个看法，我是不同意这个观点的（参见【15】，【9】，【14】，【2】，【3】）尽管统计学确实以数学为基础（正如物理和工程也以数学为基础，但没有被认为是数学的分支），但它同其它学科还有紧密的联系。
数学背景和追求精确加强了这样一个趋势：在采用一个方法之前先要证明，而不是象计算机科学和机器学习那样注重经验。这就意味着有时候和统计学家关注同一问题的其它领域的研究者提出一个很明显有用的方法，但它却不能被证明（或还不能被证明）。统计杂志倾向于发表经过数学证明的方法而不是一些特殊方法。数据挖掘作为几门学科的综合，已经从机器学习那里继承了实验的态度。这并不意味着数据挖掘工作者不注重精确，而只是说明如果方法不能产生结果的话就会被放弃。
正是统计文献显示了（或夸大了）统计的数学精确性。同时还显示了其对推理的侧重。尽管统计学的一些分支也侧重于描述，但是浏览一下统计论文的话就会发现这些文献的核心问题就是在观察了样本的情况下如何去推断总体。当然这也常常是数据挖掘所关注的。下面我们会提到数据挖掘的一个特定属性就是要处理的是一个大数据集。这就意味着，由于可行性的原因，我们常常得到的只是一个样本，但是需要描述样本取自的那个大数据集。然而，数据挖掘问题常常可以得到数据总体，例如关于一个公司的所有职工数据，数据库中的所有客户资料，去年的所有业务。在这种情形下，推断就没有价值了（例如，年度业务的平均值），因为观测到的值也就是估计参数。这就意味着，建立的统计模型可能会利用一系列概率表述（例如，一些参数接近于0，则会从模型中剔除掉），但当总体数据可以获得的话，在数据挖掘中则变得毫无意义。在这里，我们可以很方便的应用评估函数：针对数据的足够的表述。事实是，常常所关注的是模型是否合适而不是它的可行性，在很多情形下，使得模型的发现很容易。例如，在寻找规则时常常会利用吻合度的单纯特性（例如，应用分支定理）。但当我们应用概率陈述时则不会得到这些特性。
统计学和数据挖掘部分交迭的第三个特性是在现代统计学中起核心作用的“模型”。或许“模型”这个术语更多的含义是变化。一方面，统计学模型是基于分析变量间的联系，但另一方面这些模型关于数据的总体描述确实没有道理的。关于信用卡业务的回归模型可能会把收入作为一个独立的变量，因为一般认为高收入会导致大的业务。这可能是一个理论模型（尽管基于一个不牢靠的理论）。与此相反，只需在一些可能具有解释意义的变量基础上进行逐步的搜索，从而获得一个有很大预测价值的模型，尽管不能作出合理的解释。（通过数据挖掘去发现一个模型的时候，常常关注的就是后者）。
还有其它方法可以区分统计模型，但在这里我将不作探讨。对此可参见【10】。这里我想关注的是，现代统计学是以模型为主的。而计算，模型选择条件是次要的，只是如何建立一个好的模型。但在数据挖掘中，却不完全是如此。在数据挖掘中，准则起了核心的作用。（当然在统计学中有一些以准则为中心的独立的特例。Gifi的关于学校的非线性多变量分析就是其中之一。例如，Gifi说，在本书中我们持这样的观点，给定一些最常用的MVA（多变量分析）问题，既可以从模型出发也可以技术出发。正如我们已经在1.1节所看到的基于模型的经典的多变量统计分析，……然而，在很多情形下，模型的选择并不都是显而易见的，选择一个合适的模型是不可能的，最合适的计算方法也是不可行的。在这种情形下，我们从另外一个角度出发，应用设计的一系列技术来回答MVA问题，暂不考虑模型和最优判别的选择。
相对于统计学而言，准则在数据挖掘中起着更为核心的作用并不奇怪，数据挖掘所继承的学科如计算机科学及相关学科也是如此。数据集的规模常常意味着传统的统计学准则不适合数据挖掘问题，不得不重新设计。部分地，当数据点被逐一应用以更新估计量，适应性和连续性的准则常常是必须的。尽管一些统计学的准则已经得到发展，但更多的应用是机器学习。（正如“学习”所示的那样）
很多情况下，数据挖掘的本质是很偶然的发现非预期但很有价值的信息。这说明数据挖掘过程本质上是实验性的。这和确定性的分析是不同的。（实际上，一个人是不能完全确定一个理论的，只能提供证据和不确定的证据。）确定性分析着眼于最适合的模型－建立一个推荐模型，这个模型也许不能很好的解释观测到的数据。很多，或许是大部分统计分析提出的是确定性的分析。然而，实验性的数据分析对于统计学并不是新生事务，或许这是统计学家应该考虑作为统计学的另一个基石，而这已经是数据挖掘的基石。所有这些都是正确的，但事实上，数据挖掘所遇到的数据集按统计标准来看都是巨大的。在这种情况下，统计工具可能会失效：百万个偶然因素可能就会使其失效。（【11】中包含例子）
如果数据挖掘的主要目的是发现，那它就不关心统计学领域中的在回答一个特定的问题之前，如何很好的搜集数据，例如实验设计和调查设计。数据挖掘本质上假想数据已经被搜集好，关注的只是如何发现其中的秘密。
3．  数据挖掘的性质
由于统计学基础的建立在计算机的发明和发展之前，所以常用的统计学工具包含很多可
以手工实现的方法。因此，对于很多统计学家来说，1000个数据就已经是很大的了。但这个“大”对于英国大的信用卡公司每年350,000,000笔业务或AT&T每天200,000,000个长途呼叫来说相差太远了。很明显，面对这么多的数据，则需要设计不同于那些“原则上可以用手工实现”的方法。这意味这计算机（正是计算机使得大数据可能实现）对于数据的分析和处理是关键的

赞助本站