CDA数据分析师 出品
作者:CDALevel Ⅰ持证人
岗位:数据分析师
行业:大数据
背景
在前文(Python实现基于客观事实的RFM模型)中阐述了如何运用分箱的技巧讲客服进行分群,有兴趣的读者可以去回顾 一下。利用流行的编程语言---Python及分箱技巧进行RFM模型构建,结果发现,此方法有效了降低人工分群带来的主观性影响,然而,会出现类似偏态的现象。其原因是在于分箱的操作对R值、F值、M值都进行了一遍。因此,为解决这种类似偏态的问题,本文将利用机器学习中的K-Means聚类对客户进行分群。
如今新基建大数据、人工智能行业在迅速的发展,而机器学习是其中不可或缺的一环,机器学习强调的是利用人脑一般从历史的数据中学习到经验并运用与未来的判断中。而K-Means模型则是机器学习中聚类算法中的一块,本文结合Python实现K-Means聚类算法的编写,同时应用于客户分群中。
本文采用Anaconda进行Python编译,主要涉及的Python模块:
本章分为三部分讲解:
"人以类聚,物以群分",这句话就是K-Means模型的思想点。其中,K代表类别数量(Tips:在机器学习中,自变量又叫预测变量,因变量又叫目标变量)。而Means代表每个类别中样本的均值,因此这个Means也即均值的意思(Tips:这里的样本通俗理解就是一个记录行)。
K-Means聚类是以距离作为样本间相似度的度量标准,将距离相近的样本分配至同一个类别。样本间的度量方式可以是欧氏距离,马氏距离,余弦相似度等,K-Means聚类通常采用欧氏距离来度量各样本间的距离。
欧式距离又称欧几里得度量,为常见的两点之间或多点之间的距离表示法,如类别$x=(x{1},x{1},...,x{n})$与类别$y=(y{1},y{2},...,y{n})$间的距离如下式:
马氏距离同样也是一种距离的度量,是由马哈拉诺比斯(P. C. Mahalanobis)提出的,表示样本间的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。这可以看作是欧式距离的修正,修正了欧式距离中各个维度尺度不一致且相关的问题。
对于一个均值为$mu=(mu{1},mu{2},...,mu_{p})^{T}$,协方差矩阵的S的多变量$x=(x^{1},x^{2},...,x^{p})^{T}$,其马氏距离为下式
输入:样本集D,设定类别数目K
输出:类划分(K个类)
以流程图展现算法步骤,
在上述原理和算法步骤可能有读者不是很清楚,那么接下来将以例子的形式更加具体的展现K-Means是如何进行聚类的。首先利用scikit-learn库中的datasets接口生成随机样本点作为我们的聚类输入值,以可视化形式展现,如下图:
从上图可以看出输入的样本点肉眼可见可以分成3类,那么怎么用K-Means将此样本集识别出3类呢。这里用到scikit-learn库中的KMeans接口,该接口的训练算法与上述算法是大同小异的。其中稍有差别的是,初始的类中心点的选择并不是随机的,而是选择k-means++的初始化方案,将类中心化为彼此原理的点。具体而言将在代码体现。其次不同的是,结束条件,上述算法步骤的结束条件时判断各类别中的样本是否发生改变,而KMeans接口中的结束条件是类似于利用损失函数:$||Means{old}-Means{new}||$,该式子的意思是计算旧类中心点于新类中心点的距离,如果该距离小于给定的值$epsilon$,则结束,输出类别。
上述样本点的构建及可视化的代码如下
import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.datasets import make_blobs
sns.set_style('darkgrid') # 中文显示问题解决 plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False # 生成例子数据 np.random.seed(123)
centers = [[2, 1], [6, 5], [10, 3]]
n_clusters = len(centers)
X, labels_true = make_blobs(n_samples=300, centers=centers, cluster_std=0.7)
plt.scatter(X[:,0],X[:,1],c='red',marker='o',
label='样本')
plt.legend()
plt.savefig('example.jpg',dpi=200)
plt.show()
代码解读:
首先设置可视化的主题为seaborn下的黑格子状态,其次选择围绕(2,1),(6,5),(10,3)这三个点(类中心点)构造样本集。运用make_blobs()函数即可构建样本集,该函数中可以设定样本集的数量n_samples和方差cluster_std。最后以散点图形式展现。
最后调用KMeans接口,将该样本集进行聚类,用可视化的方式对聚类后结果进行展现,结果如下图
可以明确看到,聚类结果为3类,和我们预期的是一致的,接下来看类别中心点于原设计的中心点对比,如下表。
从上表可以看出,聚类中心点是存在微小差异的,这也说明KMeans接口时利用损失函数进行迭代的。相关代码如下
# K-Means聚类 from sklearn.cluster import KMeans
sns.set_style('darkgrid') # 中文显示问题解决 plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False # 模型拟合 k_means = KMeans(init="k-means++", n_clusters=3)
k_means.fit(X) # 可视化结果 fig = plt.figure(figsize=(15,8))
colors = ["#4EACC5", "#FF9C34", "#4E9A06"]
k_means_cluster_centers = k_means.cluster_centers_
k_means_labels = k_means.labels_
ax = fig.add_subplot()
for k, col in zip(range(n_clusters), colors):
my_members = k_means_labels == k
cluster_center = k_means_cluster_centers[k]
ax.plot(X[my_members, 0], X[my_members, 1], "w", markerfacecolor=col, marker="*")
ax.plot(
cluster_center[0],
cluster_center[1], "o",
markerfacecolor=col,
markeredgecolor="k",
markersize=6,
)
ax.set_title("KMeans聚类结果") #ax.set_xticks() #ax.set_yticks() plt.savefig('例子结果.jpg',dpi=200)
代码解读:
KMeans(init="k-means++", n_clusters=3)这段代码即将估计器拟合上述的样本集。其中,init参数即为上述所讲KMeans++的初始化选择方式。而后的参数为设定分成多少类。
拟合后的KMeans估计器是可以进行调用的,这里我们调用类中心点(k_means.cluster_centers_)和样本所属类别(k_means.labels_)。
最后一段代码是结合类中心点和样本所属类别进行可视化展示,可以非常明确的看到聚类后的结果。(TIps:最后保存图片的dpi是调整像素的,在Python编译器里面默认保存的图像像素普遍都不高,读者可以适当的设置。)
K-Means模型构建(代码)
有了数据和scikit-learn库中的KMmeans接口的了解,那么接下来先上完整代码和解释,模型构建的代码如下
# RMF实战 import pandas as pd import seaborn as sns
sns.set_style('darkgrid')
# 中文显示问题解决
plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False
## 数据读取 data = pd.read_excel('rfm.xlsx')
X = data.drop(columns = 'user_id')
## KMeans模型构建
k_means = KMeans(init="k-means++", n_clusters=8,random_state=123)
k_means.fit(X)
## 类别查看 data['categories'] = k_means.labels_
## 相关属性查看
k_means.cluster_centers_
k_means.verbose
## 机器帮助判断(等深分箱)
result = k_means.cluster_centers_
reuslt = pd.DataFrame(result)
reuslt['R_label'] = pd.qcut(reuslt[2],2,labels = range(1,3)).astype('int')
reuslt['F_label'] = pd.qcut(reuslt[0],2,labels = range(1,3)).astype('int')
reuslt['M_label'] = pd.qcut(reuslt[1],2,labels = range(1,3)).astype('int')
## 客户分类打标签 for i,j in data.iterrows(): if j['categories'] == 0 or j['categories'] == 2: data.loc[i,'客户类别'] = '一般发展用户' if j['categories'] == 1 or j['categories'] == 5: data.loc[i,'客户类别'] = '重要价值用户' if j['categories'] == 3 or j['categories'] == 7: data.loc[i,'客户类别'] = '重要保持客户' if j['categories'] == 4 or j['categories'] == 6: data.loc[i,'客户类别'] = '一般挽留客户' # 可视化
cate_sta = data['客户类别'].value_counts()
cate_sta = pd.DataFrame(cate_sta)
sns.barplot(y='客户类别', x=cate_sta.index, data=cate_sta)
plt.title('用户类别统计')
plt.show()
从上图可以看到,利用KMeans的估计器,我们已经得到了每个id所属的类别,那么现在的问题是,该怎么判断用户是哪种客户类别呢(Tips:用户类别分为8种,不清楚的读者可以回顾前文),这时候就需要用到类中心点,通过判断类中心点来给每种分类一个判断,下表为每个类别对应的类中心点。
有了每个类别的类中心点,我们就需要对每个类赋予RFM模型中的客户类别,本文在这方面选择分箱的技巧进行分类。
对类中心点实现等深分箱,与前文运用等距分箱不同,这里采取的是指定每个类别种的个数是一致的,这也符合RFM模型中的每个值都有4个高,4个低。在Python中利用pd.qcut()函数进行分箱,其参数与等距分箱大同小异,有兴趣的读者可以研究。最后以"2"代表高,"1"代表低。并按照RFM的规则将每种类别赋予一个客户类别,结果如下表:
最后,以柱状图的形式展示该份数据集中的客户类别总数
具体数值如下表:
与前文(Python实现基于客观事实的RFM模型)对比,本文将该份数据集中的用户分为4类(一般发展用户、重要保持客户、一般挽留客户、重要价值用户),而前文将用户分为5类(一般发展用户、一般挽留用户、重要挽留客户、一般保持用户、重要发展用户)。可以看出,两者都识别出了一般发展用户的信息,且其所占比例也是最多的。不同之处在于,基于KMeans聚类模型的RFM模型可以挖掘出重要保持客户、重要价值用户的信息,而基于客观事实的RFM模型对一般挽留用户较为敏感。
因此,对于决策者而言,每个模型得到的RFM模型是不一致的,而决策者应该从模型结果的相同点入手,如该份数据,两个模型都发现了一般发展用户所占比例是最大的,代表其解释性强。而对于模型间的不同点,则需要更深入的探讨如何取舍的问题。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10