作者:小伍哥
来源:小伍哥聊风控
大家好,我是小伍哥。
有效的风险感知或者无监督风险识别,其实非常的难,很多同学甚至无法下手,做了的可能也没有效果,如果找到合适的方法了,其实是非常有意思,且考验想象力的事情,我认为是风控领域的一个明珠,需要扎实且广泛的算法储备、敏锐风险直觉、以及非常丰富的想象力,本文进行初步的探讨,希望对风险感知的同学有一定的启示作用。
当风控做到一定程度,或者平台生态非常复杂的时候,需要对未知风险进行感知,也就是提前发现或者感知到平台里面隐藏的未知风险。多于很多风控人员来说,是个非常大的挑战,本文拿订单场景举例,抛砖引玉。
假如订单包含:订单编号、订单时间、买家、卖家、价格、类目、收货地址、收货手机····
1、基于正态分布异常
要对其中的风险进行感知,大家首先想到的是基于统计的方法
商家成交同比增加1倍
商家成交环比增加80%
买家成交环比增加80%
······
简单的统计特征用完了,就要基于分布异常进行感知了,从全部订单维度,检测正态分布两端的价格,分布异常的视为异常订单
从买家维度,监控3倍标准差以外的订单
从卖家维度,监控3倍标准差以外的订单
从卖家维度,监控5倍标准差以外的订单
······
很多刚入风控的小伙伴,可能就到此为止了
如果要分类别监控,我们可以利用箱线图的方式进行,其实还是上面的分布异常,只不过比较方便可视化和分类别进行监控,比如下面的指标:
根据类目,监控每个类目上分布的价格异常的订单
根据时段(每天24小时),监控每个时段上的价格异常订单
根据收货城市,监控每个城市的价格异常订单
根据收货城市,监控每个用户订单量的分布
······
在时序维度上,波动程度太大的,可能存在异常,所以我们可以构建时序维度上的特征,并利用变异系数进行时序维度的波动监控,然后把波动过大的视为异常
以买家为维度,统计近30天每天的销量,然后计算变异系数,如果变异系数过高,则视为异常
以卖家为维度,统计近30天的销量,然后统计变异系数,如果过高,则认为存在异常
······
时序维度,其实还可以变换下,变成有序的价格段维度,能够发现更多的异常。
以买家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以卖家为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以类目为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
以地区为对象,计算每个价格段为维度,计算分布的变异系数,过高,则认为价格分布异常
部分机器订单,可能下单速度比较异常,一秒钟下几单,并且每天如此,肯定是有问题的
买家维度的速率监控,这个需要涉及一个好的指标,单位时间订单数,或者最大持续密度,最大密度持续订单量等,这个是个很有意思的话题,后续我研究好了告诉大家,欢迎持续关注小伍哥聊风控。
卖家维度的速率监控,最好和大盘速率进行对比
比如上图,我们可以只监控红框的长度和密度,其他两个不监控,把红框内点多的以及密度多的视为异常,为什么要这么做,就担心十分钟内下单100笔,隔了23小时又下了一笔,如果按天平均并不异常,但是某一个十分钟,却是十分异常。
商品关联规则分析,哪些商品一起关联购买,某些商品组合,非常诡异的,不应该出现的,可能是刷单导致的
类目关联规则分析,这个是个特别抽象的,商家的店铺的类目应该很类似的,但是某些商家类目非常诡异的分布,比如女装+扑克,可能就是卖赌博器材的
商家关联团伙分析,通过分析某一时间片段同时出现的商家,判断商家的团伙,对于高频率同时出现的商家,可能存在异常
买家团伙分析,通过时间分段,挖掘哪些买家一起行动,可以找到团伙买家
基于松散同步行为的团伙挖掘,非常抽象,可以看我之前的文章,这个通过订单表,发现大规模的异常关联和团伙关系,是非常重要的无监督感知方法。
对于通过订单表挖掘出来的团伙,再从时间维度,去看团伙的变迁,购买行为的移动,发现极具价值的信息。也是我最近研究的重点,发现了很多有价值的东西。
基于图的异常感知,才是感知的难点和价值点,就比如宇宙中的黑洞,黑洞本身看不见,但是我们可以通过监测引力异常发现黑洞,黑洞越大周围的引力越异常。大规模的复杂网络中,由于异常用户的出现,同样会扭曲网络空间的曲线,我们设置合理的指标,就能感知出异常的'黑洞'
1)主导边异常
再一个商家一个月卖了10000个订单,100个消费者,其中一个消费者买了9900单,那这个消费者占比9000/10000=90%,形成了主导边,那这个商家可能就存在异常。
我们把卖家-买家换下,类目-商家,假如发现某个类目某个商家占比过高,会不会出现类目入侵的问题,如果更高级,我们是不是加入一个时间线,监测长时间某个类目、卖家成交权重的分布变化,那能发现非常多的莫名其妙的异常,非常推荐尝试研究。
2)权重边检测
检测商家与买家的平均订单数量,再与大盘进行比较,比如大盘每个买家对卖家的平均订单是5单,但是某一个商家,平均每个买家买了30单,是不是商家组织一群人在不停的刷单。
3)Near-Star异常检测
在正常的社交网络中,我们通常认为朋友之间可能会相互认识,因此一阶Ego-net中的邻居之间没有任何关联是非常可疑的,近似星型,邻居之间很少联系(如通话关系网络中的中介、电催人员、营销号码,他们大量的联系别人,然而联系人中之间几乎没啥联系),这种结构的Ego-net被称为star,如下图所示,中心节点与大量节点存在关联,但是邻居之间无联系或者联系很少。
这个怎么理解:监控每个商家的消费者,假如这些消费者近一段时间以来,只买了这个商家,没买其他商家,是不是就非常异常,正常一个买家会买好多商家,不会只买一个的
当然,也可以利用无监督算法进行风险感知
买家维度:构建注册时长、订单数、平均价格、类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家
订单维度:构建注册时长、订单价格、价格分位数,类目分布等等指标,用孤立森立、HBOS、KNN等算法进行异常感知,输出异常分数高的买家
有没有更多监督的方法?我觉得这个话题还可以更加深入的探讨,我还需要更多的研究才能提供有价值的信息,不过大家可以去研究下。
本福特定理监控商家、类目等维度的价格分布是否异常?
利用面相、星座等识别用户的头像与八字是否冲突?(早年间就有小贷公司根据面相确定贷款额度)
······
在无监督的场景下,我们可以尽情的想象并进行测试,说不定有意外的惊喜,今天就写到这里了。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11