热线电话:13121318867

登录
首页精彩阅读风控难题之无监督风险感知:脑力、想象力、第六感、黑洞
风控难题之无监督风险感知:脑力、想象力、第六感、黑洞
2022-04-06
收藏

作者:小伍哥

来源:小伍哥聊风控

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

大家好,我是小伍哥。

有效的风险感知或者无监督风险识别,其实非常的难,很多同学甚至无法下手,做了的可能也没有效果,如果找到合适的方法了,其实是非常有意思,且考验想象力的事情,我认为是风控领域的一个明珠,需要扎实且广泛的算法储备、敏锐风险直觉、以及非常丰富的想象力,本文进行初步的探讨,希望对风险感知的同学有一定的启示作用。

当风控做到一定程度,或者平台生态非常复杂的时候,需要对未知风险进行感知,也就是提前发现或者感知到平台里面隐藏的未知风险。多于很多风控人员来说,是个非常大的挑战,本文拿订单场景举例,抛砖引玉。

假如订单包含:订单编号、订单时间、买家、卖家、价格、类目、收货地址、收货手机····

1、基于正态分布异常

要对其中的风险进行感知,大家首先想到的是基于统计的方法

商家成交同比增加1倍

商家成交环比增加80%

买家成交环比增加80%

······

简单的统计特征用完了,就要基于分布异常进行感知了,从全部订单维度,检测正态分布两端的价格,分布异常的视为异常订单

从买家维度,监控3倍标准差以外的订单

从卖家维度,监控3倍标准差以外的订单

从卖家维度,监控5倍标准差以外的订单

······

很多刚入风控的小伙伴,可能就到此为止了

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

2、基于箱线图分布异常

如果要分类别监控,我们可以利用箱线图的方式进行,其实还是上面的分布异常,只不过比较方便可视化和分类别进行监控,比如下面的指标:

根据类目,监控每个类目上分布的价格异常的订单

根据时段(每天24小时),监控每个时段上的价格异常订单

根据收货城市,监控每个城市的价格异常订单

根据收货城市,监控每个用户订单量的分布

······

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞
风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

3、序列变异系数异常

在时序维度上,波动程度太大的,可能存在异常,所以我们可以构建时序维度上的特征,并利用变异系数进行时序维度的波动监控,然后把波动过大的视为异常

以买家为维度,统计近30天每天的销量,然后计算变异系数,如果变异系数过高,则视为异常

以卖家为维度,统计近30天的销量,然后统计变异系数,如果过高,则认为存在异常

······

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

时序维度,其实还可以变换下,变成有序的价格段维度,能够发现更多的异常。

以买家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常

以卖家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常

以类目为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常

以地区为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

4、下单速率异常感知

部分机器订单,可能下单速度比较异常,一秒钟下几单,并且每天如此,肯定是有问题的

买家维度的速率监控,这个需要涉及一个好的指标,单位时间订单数,或者最大持续密度,最大密度持续订单量等,这个是个很有意思的话题,后续我研究好了告诉大家,欢迎持续关注小伍哥聊风控。

卖家维度的速率监控,最好和大盘速率进行对比

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

比如上图,我们可以只监控红框的长度和密度,其他两个不监控,把红框内点多的以及密度多的视为异常,为什么要这么做,就担心十分钟内下单100笔,隔了23小时又下了一笔,如果按天平均并不异常,但是某一个十分钟,却是十分异常。

5、关联关系异常感知

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

商品关联规则分析,哪些商品一起关联购买,某些商品组合,非常诡异的,不应该出现的,可能是刷单导致的

类目关联规则分析,这个是个特别抽象的,商家的店铺的类目应该很类似的,但是某些商家类目非常诡异的分布,比如女装+扑克,可能就是卖赌博器材的

商家关联团伙分析,通过分析某一时间片段同时出现的商家,判断商家的团伙,对于高频率同时出现的商家,可能存在异常

买家团伙分析,通过时间分段,挖掘哪些买家一起行动,可以找到团伙买家

6、同步关系异常感知

基于松散同步行为的团伙挖掘,非常抽象,可以看我之前的文章,这个通过订单表,发现大规模的异常关联和团伙关系,是非常重要的无监督感知方法。

对于通过订单表挖掘出来的团伙,再从时间维度,去看团伙的变迁,购买行为的移动,发现极具价值的信息。也是我最近研究的重点,发现了很多有价值的东西。

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

7、图关系异常感知

基于图的异常感知,才是感知的难点和价值点,就比如宇宙中的黑洞,黑洞本身看不见,但是我们可以通过监测引力异常发现黑洞,黑洞越大周围的引力越异常。大规模的复杂网络中,由于异常用户的出现,同样会扭曲网络空间的曲线,我们设置合理的指标,就能感知出异常的'黑洞'

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

1)主导边异常

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

再一个商家一个月卖了10000个订单,100个消费者,其中一个消费者买了9900单,那这个消费者占比9000/10000=90%,形成了主导边,那这个商家可能就存在异常。

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

我们把卖家-买家换下,类目-商家,假如发现某个类目某个商家占比过高,会不会出现类目入侵的问题,如果更高级,我们是不是加入一个时间线,监测长时间某个类目、卖家成交权重的分布变化,那能发现非常多的莫名其妙的异常,非常推荐尝试研究。

2)权重边检测

检测商家与买家的平均订单数量,再与大盘进行比较,比如大盘每个买家对卖家的平均订单是5单,但是某一个商家,平均每个买家买了30单,是不是商家组织一群人在不停的刷单。

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

3)Near-Star异常检测

在正常的社交网络中,我们通常认为朋友之间可能会相互认识,因此一阶Ego-net中的邻居之间没有任何关联是非常可疑的,近似星型,邻居之间很少联系(如通话关系网络中的中介、电催人员、营销号码,他们大量的联系别人,然而联系人中之间几乎没啥联系),这种结构的Ego-net被称为star,如下图所示,中心节点与大量节点存在关联,但是邻居之间无联系或者联系很少。

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

这个怎么理解:监控每个商家的消费者,假如这些消费者近一段时间以来,只买了这个商家,没买其他商家,是不是就非常异常,正常一个买家会买好多商家,不会只买一个的

8、无监督算法

当然,也可以利用无监督算法进行风险感知

买家维度:构建注册时长、订单数、平均价格、类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家

订单维度:构建注册时长、订单价格、价格分位数,类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

9、更无监督?

有没有更多监督的方法?我觉得这个话题还可以更加深入的探讨,我还需要更多的研究才能提供有价值的信息,不过大家可以去研究下。

本福特定理监控商家、类目等维度的价格分布是否异常?

利用面相、星座等识别用户的头像与八字是否冲突?(早年间就有小贷公司根据面相确定贷款额度)

风控难题之<a href='/map/wujiandu/' style='color:#000;font-size:inherit;'>无监督</a>风险感知:脑力、想象力、第六感、黑洞

······

无监督的场景下,我们可以尽情的想象并进行测试,说不定有意外的惊喜,今天就写到这里了。

数据分析咨询请扫描二维码

最新资讯
更多
客服在线
立即咨询