京公网安备 11010802034615号
经营许可证编号:京B2-20210330
作者:小伍哥
来源:小伍哥聊风控
大家好,我是小伍哥。
有效的风险感知或者无监督风险识别,其实非常的难,很多同学甚至无法下手,做了的可能也没有效果,如果找到合适的方法了,其实是非常有意思,且考验想象力的事情,我认为是风控领域的一个明珠,需要扎实且广泛的算法储备、敏锐风险直觉、以及非常丰富的想象力,本文进行初步的探讨,希望对风险感知的同学有一定的启示作用。
当风控做到一定程度,或者平台生态非常复杂的时候,需要对未知风险进行感知,也就是提前发现或者感知到平台里面隐藏的未知风险。多于很多风控人员来说,是个非常大的挑战,本文拿订单场景举例,抛砖引玉。
假如订单包含:订单编号、订单时间、买家、卖家、价格、类目、收货地址、收货手机····
1、基于正态分布异常
要对其中的风险进行感知,大家首先想到的是基于统计的方法
商家成交同比增加1倍
商家成交环比增加80%
买家成交环比增加80%
······
简单的统计特征用完了,就要基于分布异常进行感知了,从全部订单维度,检测正态分布两端的价格,分布异常的视为异常订单
从买家维度,监控3倍标准差以外的订单
从卖家维度,监控3倍标准差以外的订单
从卖家维度,监控5倍标准差以外的订单
······
很多刚入风控的小伙伴,可能就到此为止了
如果要分类别监控,我们可以利用箱线图的方式进行,其实还是上面的分布异常,只不过比较方便可视化和分类别进行监控,比如下面的指标:
根据类目,监控每个类目上分布的价格异常的订单
根据时段(每天24小时),监控每个时段上的价格异常订单
根据收货城市,监控每个城市的价格异常订单
根据收货城市,监控每个用户订单量的分布
······
在时序维度上,波动程度太大的,可能存在异常,所以我们可以构建时序维度上的特征,并利用变异系数进行时序维度的波动监控,然后把波动过大的视为异常
以买家为维度,统计近30天每天的销量,然后计算变异系数,如果变异系数过高,则视为异常
以卖家为维度,统计近30天的销量,然后统计变异系数,如果过高,则认为存在异常
······
时序维度,其实还可以变换下,变成有序的价格段维度,能够发现更多的异常。
以买家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以卖家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以类目为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以地区为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
部分机器订单,可能下单速度比较异常,一秒钟下几单,并且每天如此,肯定是有问题的
买家维度的速率监控,这个需要涉及一个好的指标,单位时间订单数,或者最大持续密度,最大密度持续订单量等,这个是个很有意思的话题,后续我研究好了告诉大家,欢迎持续关注小伍哥聊风控。
卖家维度的速率监控,最好和大盘速率进行对比
比如上图,我们可以只监控红框的长度和密度,其他两个不监控,把红框内点多的以及密度多的视为异常,为什么要这么做,就担心十分钟内下单100笔,隔了23小时又下了一笔,如果按天平均并不异常,但是某一个十分钟,却是十分异常。
商品关联规则分析,哪些商品一起关联购买,某些商品组合,非常诡异的,不应该出现的,可能是刷单导致的
类目关联规则分析,这个是个特别抽象的,商家的店铺的类目应该很类似的,但是某些商家类目非常诡异的分布,比如女装+扑克,可能就是卖赌博器材的
商家关联团伙分析,通过分析某一时间片段同时出现的商家,判断商家的团伙,对于高频率同时出现的商家,可能存在异常
买家团伙分析,通过时间分段,挖掘哪些买家一起行动,可以找到团伙买家
基于松散同步行为的团伙挖掘,非常抽象,可以看我之前的文章,这个通过订单表,发现大规模的异常关联和团伙关系,是非常重要的无监督感知方法。
对于通过订单表挖掘出来的团伙,再从时间维度,去看团伙的变迁,购买行为的移动,发现极具价值的信息。也是我最近研究的重点,发现了很多有价值的东西。
基于图的异常感知,才是感知的难点和价值点,就比如宇宙中的黑洞,黑洞本身看不见,但是我们可以通过监测引力异常发现黑洞,黑洞越大周围的引力越异常。大规模的复杂网络中,由于异常用户的出现,同样会扭曲网络空间的曲线,我们设置合理的指标,就能感知出异常的'黑洞'
1)主导边异常
再一个商家一个月卖了10000个订单,100个消费者,其中一个消费者买了9900单,那这个消费者占比9000/10000=90%,形成了主导边,那这个商家可能就存在异常。
我们把卖家-买家换下,类目-商家,假如发现某个类目某个商家占比过高,会不会出现类目入侵的问题,如果更高级,我们是不是加入一个时间线,监测长时间某个类目、卖家成交权重的分布变化,那能发现非常多的莫名其妙的异常,非常推荐尝试研究。
2)权重边检测
检测商家与买家的平均订单数量,再与大盘进行比较,比如大盘每个买家对卖家的平均订单是5单,但是某一个商家,平均每个买家买了30单,是不是商家组织一群人在不停的刷单。
3)Near-Star异常检测
在正常的社交网络中,我们通常认为朋友之间可能会相互认识,因此一阶Ego-net中的邻居之间没有任何关联是非常可疑的,近似星型,邻居之间很少联系(如通话关系网络中的中介、电催人员、营销号码,他们大量的联系别人,然而联系人中之间几乎没啥联系),这种结构的Ego-net被称为star,如下图所示,中心节点与大量节点存在关联,但是邻居之间无联系或者联系很少。
这个怎么理解:监控每个商家的消费者,假如这些消费者近一段时间以来,只买了这个商家,没买其他商家,是不是就非常异常,正常一个买家会买好多商家,不会只买一个的
当然,也可以利用无监督算法进行风险感知
买家维度:构建注册时长、订单数、平均价格、类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家
订单维度:构建注册时长、订单价格、价格分位数,类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家
有没有更多监督的方法?我觉得这个话题还可以更加深入的探讨,我还需要更多的研究才能提供有价值的信息,不过大家可以去研究下。
本福特定理监控商家、类目等维度的价格分布是否异常?
利用面相、星座等识别用户的头像与八字是否冲突?(早年间就有小贷公司根据面相确定贷款额度)
······
在无监督的场景下,我们可以尽情的想象并进行测试,说不定有意外的惊喜,今天就写到这里了。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在MySQL数据库优化中,分区表是处理海量数据的核心手段——通过将大表按分区键(如时间、地域、ID范围)分割为多个独立的小分区 ...
2026-03-19在商业智能与数据可视化领域,同比、环比增长率是分析数据变化趋势的核心指标——同比(YoY)聚焦“长期趋势”,通过当前周期与 ...
2026-03-19在数据分析与建模领域,流传着一句行业共识:“数据决定上限,特征决定下限”。对CDA(Certified Data Analyst)数据分析师而言 ...
2026-03-19机器学习算法工程的核心价值,在于将理论算法转化为可落地、可复用、高可靠的工程化解决方案,解决实际业务中的痛点问题。不同于 ...
2026-03-18在动态系统状态估计与目标跟踪领域,高精度、高鲁棒性的状态感知是机器人导航、自动驾驶、工业控制、目标检测等场景的核心需求。 ...
2026-03-18“垃圾数据进,垃圾结果出”,这是数据分析领域的黄金法则,更是CDA(Certified Data Analyst)数据分析师日常工作中时刻恪守的 ...
2026-03-18在机器学习建模中,决策树模型因其结构直观、易于理解、无需复杂数据预处理等优势,成为分类与回归任务的首选工具之一。而变量重 ...
2026-03-17在数据分析中,卡方检验是一类基于卡方分布的假设检验方法,核心用于分析分类变量之间的关联关系或实际观测分布与理论期望分布的 ...
2026-03-17在数字化转型的浪潮中,企业积累的数据日益庞大且分散——用户数据散落在注册系统、APP日志、客服记录中,订单数据分散在交易平 ...
2026-03-17在数字化时代,数据分析已成为企业决策、业务优化、增长突破的核心支撑,从数据仓库搭建(如维度表与事实表的设计)、数据采集清 ...
2026-03-16在数据仓库建设、数据分析(尤其是用户行为分析、业务指标分析)的实践中,维度表与事实表是两大核心组件,二者相互依存、缺一不 ...
2026-03-16数据是CDA(Certified Data Analyst)数据分析师开展一切工作的核心载体,而数据读取作为数据生命周期的关键环节,是连接原始数 ...
2026-03-16在用户行为分析实践中,很多从业者会陷入一个核心误区:过度关注“当前数据的分析结果”,却忽视了结果的“泛化能力”——即分析 ...
2026-03-13在数字经济时代,用户的每一次点击、浏览、停留、转化,都在传递着真实的需求信号。用户行为分析,本质上是通过收集、整理、挖掘 ...
2026-03-13在金融、零售、互联网等数据密集型行业,量化策略已成为企业挖掘商业价值、提升决策效率、控制经营风险的核心工具。而CDA(Certi ...
2026-03-13在机器学习建模体系中,随机森林作为集成学习的经典算法,凭借高精度、抗过拟合、适配多场景、可解释性强的核心优势,成为分类、 ...
2026-03-12在机器学习建模过程中,“哪些特征对预测结果影响最大?”“如何筛选核心特征、剔除冗余信息?”是从业者最常面临的核心问题。随 ...
2026-03-12在数字化转型深度渗透的今天,企业管理已从“经验驱动”全面转向“数据驱动”,数据思维成为企业高质量发展的核心竞争力,而CDA ...
2026-03-12在数字经济飞速发展的今天,数据分析已从“辅助工具”升级为“核心竞争力”,渗透到商业、科技、民生、金融等各个领域。无论是全 ...
2026-03-11上市公司财务报表是反映企业经营状况、盈利能力、偿债能力的核心数据载体,是投资者决策、研究者分析、从业者复盘的重要依据。16 ...
2026-03-11