信用评分建模中样本容量不足怎么办
在建立个人信用评分模型时,不仅需要有足够多的表征信贷申请人信用行为的特征变量,而且建模样本的容量也必须达到一定的数量。
一般来说,样本容量越大,所建立的模型的精度或预测能力就越高,模型也越稳健。
至于到底需要容量多大的样本才能建立一个预测精度较高,又具有较好稳健性的个人信用评分模型,目前还没有一个基于理论测算的最优数目,不过通过多年的建模实践,国外的许多学者提出了一些经验准则。
这些经验准则告诉我们,问题的关键并不在于建模样本容量的大小,而在于坏客户样本的数量。一个由50000个好客户,500个坏客户构成的建模样本并不比一个由5000个好客户,500个坏客户构成的样本含有更多的信息,因为在建立个人信用评分模型时坏客户样本所含的信息是我们重点关注的。
在实际的建模总体中,通常好客户的数量总是远远大于坏客户的数量,因此建模总体中坏客户数量的多少是能否成功地建立个人信用模型的关键因素之一。
在个人征信体系发达的国家,建模样本容量不足应该不是一个严重的问题。
这些国家解决这一问题可以有多种途径:
当需要对某种信用产品申请人进行评分时,若样本容量不足而不能建立评分模型,可以先用征信局的“通用化评分”来代替。待好、坏客户样本累积到一定容量后再建模。实际上有许多信用产品根本就不建立定制化的评分模型,而是直接用征信局提供的“通用化评分”对客户进行评价,当然这需要一定的成本。
由于社会征信体系较发达的国家一般其信用市场也较发达,信用产品比较丰富,在一个新的信用产品推广的初期,往往可以找到与之相类似的产品,用类似产品的样本建模在初期也是一个不错的选择。
在征信体系发达的国家,无论是信贷机构还是信用咨询机构都有较多的信用分析专家,利用这些专家的知识和经验可以建立所谓的“专家模型”。
就中国目前的状况而言,当建模样本不足时,以上3中解决方法均不是很有效的:
由于征信体系不发达,没有“通用化评分”可资利用;
消费信用产品还比较单一;
有关消费信用分析的专家还不多。
因此,样本容量不足是在中国现阶段建立个人信用评分模型时常常遇到的问题之一。
解决建模样本容量不足的方法有两类方法可以尝试:
一类是合并不同银行的相同产品的样本;
另一种是统计学中的Bootstrap方法。
方法1 将不同客户总体数据合并建模
当样本量不足时,最容易想到的一个解决办法是:将不同银行的相同产品的样本合并起来建立模型。
例如,当某个商业银行要针对其所发行的一种信用卡建立个人信用评分模型时,它可以将该银行在不同地区的分行的客户数据进行合并,这样在样本的数量上就可以满足建模的要求。
值得注意的是,这种合并不同总体的做法与通常建立个人信用评分时的做法是相反的。在建立个人信用评分模型时,为了提高模型的预测精度,当总体内部差异较大时,如果样本的容量足够大,在实际中的做法是将总体划分成几个内部一致性较好的子总体,然后对各个子总体分别建模。
关于将不同客户总体数据合并后建立模型的效果,国外的学者有过一些研究。大部分的实证研究表明,合并后建立的模型其精度往往会下降。
精度下降的原因可能来自两个方面:
由于各总体特征的差异较大影响了模型的预测能力;
各总体中保存的特征变量不尽一致,建模时往往只能使用各总体共有的部分。特征变量的减少,往往损失许多有用的信息。
方法2 Bootstrap方法应用于处理样本容量不足不同客户总体数据合并建模
将样本分成两部分,一部分是用于建模,另一部分用于检验。
这样做的主要目的是为了避免同时将一组样本既作为训练样本(用于建立模型)又作为检验样本从而对预测精度的估计过于乐观。在样本容量充足的情况下,这种做法是很有效的。但是在有些情况下,建模的样本数量并不是很充足。在这种情况下若还保留一部分样本进行检验显然不是一种有效的做法,这样会白白浪费掉保留样本中所包含的信息。
统计学中发展了多种方法来克服上述保留样本在样本容量不足时的缺陷,BootStrap方法是一种被证明行之有效的方法。
实际中的算法如下:
从经验分布F_n中有放回地抽取一个容量为n的样本(x_1,x_2,⋯,x_n)。通常称为BootStrap样本。
利用此样本计算θ的估计值,θ^*=θ(x_1,x_2,⋯,x_n)。通常称为BootStrap估计。
将过程(1),(2)重复K次,这样就得到K个BootStrap样本及K个BootStrap估计。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
“纲举目张,执本末从。”若想在数据分析领域有所收获,一套合适的学习教材至关重要。一套优质且契合需求的学习教材无疑是那关 ...
2025-03-04以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-04在现代商业环境中,数据分析师的角色愈发重要。数据分析师通过解读数据,帮助企业做出更明智的决策。因此,考取数据分析师证书成为了许多人提升职业竞争力的选择。本文将详细介绍考取数据分析师证书的过程,包括了解证书种类和 ...
2025-03-03在当今信息化社会,大数据已成为各行各业不可或缺的宝贵资源。大数据专业应运而生,旨在培养具备扎实理论基础和实践能力,能够应 ...
2025-03-03数据分析师认证考试全面升级后,除了考试场次和报名时间,小伙伴们最关心的就是报名费了,报 ...
2025-03-032025年刚开启,知乎上就出现了一个热帖: 2024年突然出现的经济下行,使各行各业都感觉到压力山大。有人说,大环境越来越不好了 ...
2025-03-03大数据分析师培训旨在培养学员掌握大数据分析的基础知识、技术及应用能力,以适应企业对数据分析人才的需求。根据不同的培训需求 ...
2025-03-03小伙伴们,最近被《哪吒2》刷屏了吧!这部电影不仅在国内掀起观影热潮,还在全球范围内引发了关注,成为中国电影崛起的又一里程 ...
2025-03-03以下的文章内容来源于张彦存老师的专栏,如果您想阅读专栏《Python 数据可视化 18 讲(PyEcharts、Matplotlib、Seaborn)》,点 ...
2025-02-28最近,国产AI模型DeepSeek爆火,其创始人梁文峰走进大众视野。《黑神话:悟空》制作人冯骥盛赞DeepSeek为“国运级别的科技成果” ...
2025-02-271.统计学简介 听说你已经被统计学劝退,被Python唬住……先别着急划走,看完这篇再说! 先说结论,大多数情况下的学不会都不是知 ...
2025-02-27“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩稳定, ...
2025-02-26在数据分析工作中,你可能经常遇到这样的问题: 从浏览到消费的转化率一直很低,那到底该优化哪里呢? 如果你要投放广告该怎么 ...
2025-02-25近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的,尤 ...
2025-02-25挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-25在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-25以下文章来源于数有道 ,作者数据星爷 SQL查询是数据分析工作的基础,也是CDA数据分析师一级的核心考点,人工智能时代,AI能为 ...
2025-02-25“最近复购率一直在下降,我们的营销力度不小啊,为什么用户还是走了?” “是不是广告投放的用户质量不高?还是我们的产品问题 ...
2025-02-25在数据分析中,地图是一种非常直观的可视化工具,能够帮助我们更好地理解数据在地理空间上的分布情况。无论是展示销售数据、人口 ...
2025-02-25春风拂面,金三银四的求职季如期而至。谁都想在这场竞争里拿下心仪offer。 一份亮眼简历是求职敲门砖,面试紧张则可能让机会溜 ...
2025-02-24