消费者数据挖掘系统建立的几个问题_数据分析师培训

随着国内金融和保险业的改革和发展，特别是中国加入WTO以后，为了提高自身的竞争力，国内金融保险公司都开始加速建立和完善自己的管理系统。这是适应竞争的需要，也是消费者日益成熟起来的必然结果。市场机制一方面给了消费者选择的权利，消费者有了选择和谁交易的自由；另一方面，市场机制也给了公司发展的机会和挑战，谁的管理水平高、合理、谁灵活，谁就能得到不断的发展。

 　　金融和保险业属于服务性行业，如何为消费者提供最好的服务是公司每天都必须面临的问题。而提供怎样的服务首先需要知道消费者的需求是什么。这是一个非常复杂的问题，这需要有合理的、训练有素的专业人员，也要求公司要有有效的计算机系统，这两者缺一不可。

 　　说起来容易，做起来难。在成百上千万可能的顾客里面如何找出这些利润高的顾客呢？ 这就是为什么要有一个数据挖掘的系统。下面作者就用自己给美国长途电话公司 Bell Atlantic建立数据挖掘系统的案例来简单地介绍如何做数据挖掘，并且探究了一下如何建立一个对消费者的数据进行挖掘的计算机系统以及相关的人员配置和其他技术问题。

 　　本文作者陈宏是北京始信峰网络技术有限公司董事兼高级咨询顾问，毕业于德洲理工大学金融系, 专业是投资和计算金融。先后在波士顿的PPR 债券研究公司和普林斯顿的CBD 信用卡咨询公司工作，主要从事信用管理、债券估算和保险精算的咨询工作， 包括数量模型的建立， 数据挖掘系统和信用管理系统的咨询和实施。咨询的客户包括 CitiBank, Kirkland&Ellis (美国最大的律师事务所), DaimlerChrysler。并于2000年建立自己的咨询公司, 进行信用管理和CRM管理方面的咨询。 

　　好米缘何做成坏粥？ 

　　在上世纪90年代初，美国电报电话公司大挥手笔，隆重地推出了自己的信用卡――宇宙信用卡。宇宙卡的出现在美国信用卡历史上可以说是一个里程碑。首先，宇宙卡是有史以来第一个不收服务年费的信用卡。在此之前，信用卡的年费是几乎所有信用卡公司的主要利润来源之一，大约占总利润额的5~10%。电报电话公司财大气粗，第一次进入信用卡行业就大胆地提出免去信用卡服务年费，这给美国其他信用卡公司带来很大的竞争压力。几年以后，几乎所有的信用卡公司都不得不宣布取消服务年费。其次，宇宙卡是第一个把信用卡和电话卡合二为一的卡。把信用卡和电话卡结合起来在当时来说是很大胆的创新。第三，美国电报电话宇宙卡还明确提出，他们的信用卡客户将会是信用最好的消费者。

 　　宇宙卡推出以后，其推广速度是前所未有的。因为美国电报电话公司在当时是美国唯一一家长途电话公司。在长途电话服务行业，他们是消费群几乎包括全美国上亿个消费者。美国电报电话公司通过对上亿个消费者的数据进行统计，挖掘出认为是最好的客户，即是信用好、从未拖欠过电话费的用户。然后，他们就开始有针对性地向这些消费者推销自己的宇宙卡。如此庞大的客户群，再加上宇宙卡本身不需要年费、两卡合二为一的优势，使宇宙卡有如野火燎原地快速发展。 

　　与此同时，几乎所有其他的信用卡公司却惶惶不可终日，哀叹自己的竞争力太弱。大家预测，美国电报电话公司将会在短短的几年内成为全美最大的信用卡公司。

 　　然而，事实却让人大跌眼镜。几年以后，美国电报电话公司非但没有成为最大的信用卡公司，反而连年亏损严重。后来，他们不得不把信用卡部门卖给了另一家信用卡公司，并重新宣布自己的主营业务是电话服务，而不是信用卡服务。在当时的美国信用卡业界沸腾起来了，人们在窃喜之余好生纳闷：为什么一个看似很完美的信用卡模式会亏损？而在那个时候的美国，信用卡几乎是任何一家银行最大的利润提供者，平均每年的利润都在30%左右；而且信用卡的业务还不会受经济周期的影响。把信用卡部门做成亏损是比较少见的。 　　分析出来的结论不禁让人哑然发笑：这其中最主要的原因竟然是他们的信用卡客户的信用是太好的缘故。一般来说，信用卡的利润主要来源于四个方面：利息、未按时付款的罚金、服务年费和交易服务费。因为宇宙卡取消了服务年费，这样一来美国电报电话公司就只能依靠其他三个利润来源：利息、罚金和交易服务费。 

　　问题就出在利息收入和罚金上了。因为美国电报电话公司只向信用特好的客户推销宇宙卡，而拒绝给信用稍差的客户。这样一来，几乎只有信用特好的人才能使用宇宙卡。他们认为这样宇宙卡将成为最好的信用卡，可以万无一失，就等着赚钱了。可是他们没有怎么也想不到，对他们来说，在取消了服务年费以后，信用特好的客户有一个致命的特点：这些客户每个月都会按时付清利息，这样信用卡公司收不到利息，同时还不可能得到拖欠款的罚金。

 　　四个利润来源，到头来美国电报电话公司只剩下了一个，即是用卡的交易服务费，只有交易金额的3%左右。这样，他们的亏损就显而易见了。

 　　数据挖掘系统至关重要 

　　其实说来说去，美国电报电话公司亏损的最根本原因，是数据挖掘出了问题，没有定位好到底是什么样的消费者能给带来利润。信用好的顾客并不等于是利润高的顾客。美国电报电话公司错误地将两者等同起来。在这个错误的商业定义的指导下，随后进行的所有数据挖掘、顾客推销都出了错。最后，信用不好、但利润高的顾客却放弃了宇宙卡的申请，因为他们认为，即使申请了也他们得不到卡。

 　　出现这种错误是因为美国电报电话公司没有在信用卡行业的经验，对所有可能出现的问题只是想当然就做出结论。而事实是，利润最高的顾客是那些收入好、花钱不仔细、生活中比较马虎的。这些人经常忘记付款日期，这样信用卡公司就不但能从他们身上赚取罚金，又能赚取利息。

 　　美国电报电话公司没能从客户数据中挖掘出正确的关系，是决策失败的根本。数据挖掘系统是为增加公司的效益服务的。每个公司，尤其是金融保险公司，都会有很多的客户数据。好的数据挖掘系统能从这些数据里面发现别人没有发现的关系，从而帮助增加公司的效益。 　　  　　图1 不同的追缴电话费的策略 　　数据挖掘的过程大致包括数据样本的选择、数据的初级分析和建立数学/统计模型。这个过程就是用来挖掘和发现新的有关顾客和市场的关系，从而能够帮助商业管理人员来做决策。 

　　因此，首先应该发现所面临和要解决的问题是什么。是为了发现新的、能带来利润的顾客呢？还是为了向现有的顾客推销新产品？或者是想加快电话费的拖欠款回收？这个看似简单的问题，实际上是数据挖掘的关键。从美国电报电话公司的宇宙卡操作中，我们可以看到正确地回答这个问题并不容易。信用卡公司是最终目的是为了赢利，要平衡风险和回报的关系，信用好并不等于利润回报就高。举例来讲，美国电报电话信用卡的商业问题应该是如何找到带来利润高的顾客。而一个财产保险公司的问题则是如何降低保险的赔偿费用？ 

　　上面的问题有了明确的定义后，就要开始进行初步的数据分析，从成百上千的变量里面计算并发现哪些变量和要解决的问题有关系。这一步大概就是为什么叫数据挖掘了。在分析过程中，很可能需要从现有的数据变量里面重新组合出许多新的变量，让人感觉有点像大海捞针。在这个步骤中，行业经验和数据挖掘经验非常重要。有经验的工作人员可能只需要没经验的人1/5的时间就将这一步做好，而效果却往往更好。这要求数据挖掘系统的设置要合理，不合理的设置会浪费很多时间。 　　然后，从所发现的有关系的变量中建立能帮助解决问题的数学/统计模型。建立模型能够发现的相关变量和要解决的商业问题数字连起来，发现一个变量有多少帮助解决问题的可能性。 

　　拿信用卡来讲，年龄变量有多少帮助发现有利润的顾客的可能性？婚姻情况又有多少可能性？理论上来说，可以建立的模型是无穷无尽的，关键在于怎么区分什么模型是好的，如何发现最好的模型。

 　　模型建立过程还要求产生模型的预测数据。没有预测数据，就无从知道在实际应用中模型是否符合实际情况。

 　　合理建立数据挖掘系统 

　　同样是美国最大的电话公司之一，Bell Atlantic的数据挖掘系统却是非常成功的，不仅为他们的业务开展带来很大的方便，而且节省了许多开支。Bell Atlantic的电话服务目前已经覆盖了美国14个州，拥有商业电话、住家电话帐户近亿个。 

　　Bell Atlantic 数据挖掘系统的首要任务就是尽快地追收拖欠的电话费，同时尽量减少收债部门的成本。 

　　软件系统的选择非常重要。经过反复挑选后，Bell Atlantic采用了SAS统计软件系统建立数据挖掘系统，然后在SAS环境中利用SAS宏程序建立挖掘系统。SAS的专长是进行统计计算。它还有许多其他的优点：可以读取大量计算机系统里的数据，可以解读近百种的数据模式；计算速度快，能进行大数据量的计算；它的宏程序建立也比较直接。 　　  　

　图2 ROC曲线图 　

　然后是建立SAS格式库。许多数据需要格式化，比如年龄，可以从20到100岁，需要分成不同的组，这都需要利用模式来进行数据转换。有的数据不是连续变量，比如婚姻状况(单身/已婚)，也需要进行一些变换才可以进行计算。日期也是需要模式化的，不同计算机系统记录日期方法不同，需要把日期转换成一致的方法。在金融保险行业日期这个变量非常重要，因为很多客户的行为都记录在日期里面了。电话公司里记帐、付款的日期也非常重要。 

　　接着，建立SAS的宏程序库。几乎所有重要的数据挖掘功能都需要利用宏程序来实现。K-S系数的计算，模型预测表现的表格产生和报告，帮助做管理决策的ROC曲线，等等。 

　　第一步的数据分析，把 Bell Atlantic 覆盖的14个州分成了6组，商业帐户和居民帐户分开，然后又对不同的帐户进一步第分成了8个类型，前前后后一共建立了近40个不同的追收拖欠电话费的模型。这个项目Bell Atlantic花费了一百多万美元。 

　　这样，Bell Atlantic就能计算出有关客户的概率可能性，包括客户从一个月未交电话费到两个月未交的可能性；客户从三个月未交电话费到变成坏债的可能性，以及坏债客户变成死债客户的可能性。同时，还对追交拖欠电话费用的策略提供线索，确认哪些帐户应该进行追债活动；哪些帐户有可能拖欠电话费；并且提供量化的追债策略，对不同的帐户采用不同的办法。 

　　这个系统能有效地避免帐户从拖欠电话费变成呆债坏债，减少死债的出现。减少需要进行收债部门的人员数目，从而降低了成本。在美国的电话公司中，一个拖欠电话费的客户，用信件来追缴的成本大约是1美元；而通过电话来追缴，平均成本在30美元左右。正确选用信件追缴还是电话追缴，可以节省大约25美元的成本。采用高强度的追缴比用低强度的追缴多花大约60美元。可见，数据挖掘能起到的经济效益是非常高的。

 　　如何在中国建数据挖掘系统？　

　建立数据挖掘系统，首先要考虑资金的问题。SAS 软件系统的年费根据计算机的计算速度不同价格不同，大概从十几万人民币到近百万人民币一年。在SAS之上建立的数据挖掘系统大约系统本身要50万人民币左右，系统的安装，调试和人员的培训大约要25万到50万人民币不等。

 　　需要指出的是，SAS 公司也有自己的数据挖掘的子系统，但是它有一些问题，即是数据变换不灵活；也没有很多报告的功能和产生图的功能，格式化也不容易；而且价格也不菲。所以有条件的话，数据挖掘系统还是专门定制好。

 　　数据挖掘系统的人员要求也很重要。数据挖掘的人员首先要有良好的统计概念，其次要懂得基本的商业和行业概念。选择怎样的客户是决策的关键。就拿信用卡来说，如果严格要求客户的信用太好，反而像美国电报电话公司一样，你肯定赚不到钱； 反过来，如果随便就给人信用，同样也赚不到钱，因为这样坏帐呆帐会太多了。

 　　追缴策略样本

　　也许有人要问：这和银行的利息有什么关系？这里边关系到机会成本的问题，也就是说，如果信用卡公司不把钱给客户用，而是存到银行里提取利息，这个利息收入实际上是个机会成本。

 　　利用ROC曲线，就可以计算出来在什么条件下可以给人信用卡，什么条件下不给。数据挖掘的人员至少要看得懂ROC曲线，知道里面的导数是干什么用的。