数据挖掘在电信欺诈侦测中的应用_数据分析师考试
随着移动业务的迅猛发展,移动通信业的收入日益增长。但是,随之而来的移动网络的欺诈行为也不断涌现,全球移动通信业都广泛面临着无线欺诈的严重问题,从而导致电信运营商的收入受到损失,额外支出的增加,进而致使利润下降,而移动用户的合法权益也受到损害,电信运营商的信誉无法得到保障。
无线欺诈类型可以简单的分为四类:
(1)时间欺诈:占用了移动通信的时长而不付费用,该类欺诈可以分为两类,一是技术型欺诈(包括码机、魔术电话等),另一类是用户欺诈(漫游、滥用补充业务以及善意的欺诈行为);
(2)内部欺诈:运营商内部人员利用职权非法牟利;
(3)手机欺诈:进行非法手机的交易,如再生盗用手机、伪造手机资源等行为;
(4)分销商欺诈:为了获取非法佣金而进行的欺诈;
“并非只有中国的电信运营商存在巨额的欠费损失,例如恶意欠费这样的欺诈行为普遍存在各个国家的电信运营商里。这部分损失的比例根据电信运营商管理水平的不同在0.5%-10%之间。尤其随着电信竞争的激烈,更可能诱发欺诈。为了吸纳客户增加用户数,运营商经常主动或者被动地降低入网门槛,从而给予某些人可乘之机。”Gartner咨询公司负责电信运营商管理咨询的蒋炳庆分析欺诈产生的一些原因,重点提到随着电信竞争的激烈,这样的现象将越来越多。欺诈用户对企业造成了很大的损失,一方面这些用户往往是欠费的,另一方面这些用户实施完欺诈手段一般都会离网。如何发现欺诈客户的特征,有效的阻止欺诈正是本文欲探讨和解决的问题。
2、相关技术
2.1数据挖掘
数据挖掘也称KDD(knowledge discovery in databases)是从大量数据中发现正确的新颖的潜在有用并能够被理解的知识的过程[1]。数据挖掘的目的是提高市场决策能力;检测异常模式;在过去的经验基础上预言未来趋势等。数据挖掘是多技术的融合,涉及的技术有统计推理、机器学习、可视化、并行处理等。数据经过挖掘算法(如聚类算法、分类算法、关联规则、线性回归等)生成挖掘模型,挖掘模型的运行产生挖掘结果[2],也就是隐藏在数据中的知识。
2.2群点发现
在许多数据挖掘应用中,如电信领域的欺诈行为侦测,例外情况或离群点的发现比常规知识的发现更有意义。离群点发现是数据挖掘中一类比较特殊而又重要的应用,大多数算法主要是发现常规模式,而消除噪声影响。离群点发现正是寻找那些看起来像是噪声,却非常有价值的信息。
数据挖掘中多数聚类算法(如神经网络、Kohonen、K-means等)能够发现一些例外情况。最近,有一些研究是专门针对离群点发现的[3~5]。本文运用三个成熟的聚类算法神经网络、Kohonen、K-means进行实验比较,在本实验中发现Kohonen算法对于离群点发现准确率和召回率最高。
2.3 Kohonen算法原理
在对人类的神经系统及脑的研究中,人们发现:人脑的某些区域对某种信息或感觉敏感,如人脑的某一部分进行机械记忆特别有效;而某一部分进行抽象思维特别有效。这种情况使人们对大脑的作用的整体性与局部性特征有所认识[6]。
对大脑的研究说明,大脑是由大量协同作用的神经元群体组成的。大脑的神经网络是一个十分复杂的反馈系统;在这个系统含有各种反馈作用,有整体反馈,局部反馈;另外,还有化学交互作用。在大脑处理信息的过程中,聚类是其极其重要的功能。大脑通过聚类过程从而识别外界信号,并产生自组织过程。
依据大脑对信号处理的特点,在1981年,T.Kohonen提出了一种神经网络模型,也就是自组织特征映射模型SOM(Seh—Organizing fenture Map)。
Kohonen的思想在本质上是希望解决有关外界信息在人脑中自组织地形成概念的问题。对于一个系统来说,就是要解决一个系统在受外界信息作用时在内部自组织地形成对应表示形式。这包括神经网络的权系数调整。
在神经网络的SOM模型中,每一个权系数的有序序列 Wj=(W1j,W2j,...Wnj)都可以看作是神经网络的一种内部表示,它是有序的输入序列X=(X1,X2,...,Xn)的相对应映象。
SOM模型可以实现自组织功能。自组织的目的就是通过调整权系数Wij,使神经网络收敛于一种表示形态,在这一表示形态中的一个神经元只对某种输入模式特别匹配或特别
敏感。换而言之,自组织映射的目的就是使神经元的权系数的形态表示可以间接模仿输入的信号模式。自组织特征映射网络的学习是一种无监督的学习,输人信号模式是环境自行给出的,而不是人为给出的。
3 欺诈侦测
以下按照CRISP-DM的步骤提出电信领域欺诈侦测的解决方案。首先进行商业理解,定位要解决的欺诈问题。在背景知识中已经介绍过,电信领域欺诈有很多种情况,有些是可以通过完善制度解决,有些可以通过非数据挖掘技术解决(如提高实时扣费实时性等)。这里我们利用数据挖掘的手段解决恶意欠费的欺诈问题。通过用户的通话行为属性和已确定的欺诈行为特征比较,对可能的欺诈用户进行预警或者停机。由于移动运行商都对通话行为进行了监控,理想情况下有限信用用户在超过一定的消费额度就会催缴,进而监控停机。恶意通话欠费主要表现为在短时间内的高额通话。
电信运营支撑系统要正常运行,需要很多表信息相互协作。如用户资料、通话详单、月帐单、销帐表、欠费表、监控信息、结算信息等等。只有对这些数据进行准确的理解,才能制定有效的解决方案。
在进行数据理解之后,进行数据准备的工作,为模型建立做准备。建立模型的数据需要是经过清理的干净的客观的数据。欺诈是用户的行为,本解决方案也从用户的行为中侦测。而对于用户资料这些静态的有一定主观性(可能会误填)的信息,则不能用于建立模型。实验选取某运行商某年某月的用户的详单信息,付款情况,欠费情况,帐单信息等数据,从通话行为的异常出发,采用聚类分析方法中的孤立点分析方法,发现欺诈用户。
4 结论
本文将数据挖掘技术应用于电信领域的欺诈侦测,针对移动电信领域恶意欠费欺诈情况提出一种侦测的可行性方案,并用某移动电信运营商的真实数据进行了验证。所谓“道高一尺,魔高一丈”,我们不能穷尽所有的欺诈行为,本文也不能穷尽所有的解决方案,本文旨在通过分析一种典型的欺诈行为,给出一种解决方案,具体的实施与要求有待与移动运营商进行深入的交流,从而使数据挖掘在多个角度不仅可以描述现在,而且可以预测未来。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13