
CDA数据分析师 出品
作者:CDALevel Ⅰ持证人
岗位:数据分析师
行业:大数据
背景
在前文(Python实现基于客观事实的RFM模型)中阐述了如何运用分箱的技巧讲客服进行分群,有兴趣的读者可以去回顾 一下。利用流行的编程语言---Python及分箱技巧进行RFM模型构建,结果发现,此方法有效了降低人工分群带来的主观性影响,然而,会出现类似偏态的现象。其原因是在于分箱的操作对R值、F值、M值都进行了一遍。因此,为解决这种类似偏态的问题,本文将利用机器学习中的K-Means聚类对客户进行分群。
如今新基建大数据、人工智能行业在迅速的发展,而机器学习是其中不可或缺的一环,机器学习强调的是利用人脑一般从历史的数据中学习到经验并运用与未来的判断中。而K-Means模型则是机器学习中聚类算法中的一块,本文结合Python实现K-Means聚类算法的编写,同时应用于客户分群中。
本文采用Anaconda进行Python编译,主要涉及的Python模块:
本章分为三部分讲解:
"人以类聚,物以群分",这句话就是K-Means模型的思想点。其中,K代表类别数量(Tips:在机器学习中,自变量又叫预测变量,因变量又叫目标变量)。而Means代表每个类别中样本的均值,因此这个Means也即均值的意思(Tips:这里的样本通俗理解就是一个记录行)。
K-Means聚类是以距离作为样本间相似度的度量标准,将距离相近的样本分配至同一个类别。样本间的度量方式可以是欧氏距离,马氏距离,余弦相似度等,K-Means聚类通常采用欧氏距离来度量各样本间的距离。
欧式距离又称欧几里得度量,为常见的两点之间或多点之间的距离表示法,如类别$x=(x{1},x{1},...,x{n})$与类别$y=(y{1},y{2},...,y{n})$间的距离如下式:
马氏距离同样也是一种距离的度量,是由马哈拉诺比斯(P. C. Mahalanobis)提出的,表示样本间的协方差距离。它是一种有效的计算两个未知样本集的相似度的方法。这可以看作是欧式距离的修正,修正了欧式距离中各个维度尺度不一致且相关的问题。
对于一个均值为$mu=(mu{1},mu{2},...,mu_{p})^{T}$,协方差矩阵的S的多变量$x=(x^{1},x^{2},...,x^{p})^{T}$,其马氏距离为下式
输入:样本集D,设定类别数目K
输出:类划分(K个类)
以流程图展现算法步骤,
在上述原理和算法步骤可能有读者不是很清楚,那么接下来将以例子的形式更加具体的展现K-Means是如何进行聚类的。首先利用scikit-learn库中的datasets接口生成随机样本点作为我们的聚类输入值,以可视化形式展现,如下图:
从上图可以看出输入的样本点肉眼可见可以分成3类,那么怎么用K-Means将此样本集识别出3类呢。这里用到scikit-learn库中的KMeans接口,该接口的训练算法与上述算法是大同小异的。其中稍有差别的是,初始的类中心点的选择并不是随机的,而是选择k-means++的初始化方案,将类中心化为彼此原理的点。具体而言将在代码体现。其次不同的是,结束条件,上述算法步骤的结束条件时判断各类别中的样本是否发生改变,而KMeans接口中的结束条件是类似于利用损失函数:$||Means{old}-Means{new}||$,该式子的意思是计算旧类中心点于新类中心点的距离,如果该距离小于给定的值$epsilon$,则结束,输出类别。
上述样本点的构建及可视化的代码如下
import numpy as np import matplotlib.pyplot as plt import seaborn as sns from sklearn.datasets import make_blobs
sns.set_style('darkgrid') # 中文显示问题解决 plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False # 生成例子数据 np.random.seed(123)
centers = [[2, 1], [6, 5], [10, 3]]
n_clusters = len(centers)
X, labels_true = make_blobs(n_samples=300, centers=centers, cluster_std=0.7)
plt.scatter(X[:,0],X[:,1],c='red',marker='o',
label='样本')
plt.legend()
plt.savefig('example.jpg',dpi=200)
plt.show()
代码解读:
首先设置可视化的主题为seaborn下的黑格子状态,其次选择围绕(2,1),(6,5),(10,3)这三个点(类中心点)构造样本集。运用make_blobs()函数即可构建样本集,该函数中可以设定样本集的数量n_samples和方差cluster_std。最后以散点图形式展现。
最后调用KMeans接口,将该样本集进行聚类,用可视化的方式对聚类后结果进行展现,结果如下图
可以明确看到,聚类结果为3类,和我们预期的是一致的,接下来看类别中心点于原设计的中心点对比,如下表。
从上表可以看出,聚类中心点是存在微小差异的,这也说明KMeans接口时利用损失函数进行迭代的。相关代码如下
# K-Means聚类 from sklearn.cluster import KMeans
sns.set_style('darkgrid') # 中文显示问题解决 plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False # 模型拟合 k_means = KMeans(init="k-means++", n_clusters=3)
k_means.fit(X) # 可视化结果 fig = plt.figure(figsize=(15,8))
colors = ["#4EACC5", "#FF9C34", "#4E9A06"]
k_means_cluster_centers = k_means.cluster_centers_
k_means_labels = k_means.labels_
ax = fig.add_subplot()
for k, col in zip(range(n_clusters), colors):
my_members = k_means_labels == k
cluster_center = k_means_cluster_centers[k]
ax.plot(X[my_members, 0], X[my_members, 1], "w", markerfacecolor=col, marker="*")
ax.plot(
cluster_center[0],
cluster_center[1], "o",
markerfacecolor=col,
markeredgecolor="k",
markersize=6,
)
ax.set_title("KMeans聚类结果") #ax.set_xticks() #ax.set_yticks() plt.savefig('例子结果.jpg',dpi=200)
代码解读:
KMeans(init="k-means++", n_clusters=3)这段代码即将估计器拟合上述的样本集。其中,init参数即为上述所讲KMeans++的初始化选择方式。而后的参数为设定分成多少类。
拟合后的KMeans估计器是可以进行调用的,这里我们调用类中心点(k_means.cluster_centers_)和样本所属类别(k_means.labels_)。
最后一段代码是结合类中心点和样本所属类别进行可视化展示,可以非常明确的看到聚类后的结果。(TIps:最后保存图片的dpi是调整像素的,在Python编译器里面默认保存的图像像素普遍都不高,读者可以适当的设置。)
K-Means模型构建(代码)
有了数据和scikit-learn库中的KMmeans接口的了解,那么接下来先上完整代码和解释,模型构建的代码如下
# RMF实战 import pandas as pd import seaborn as sns
sns.set_style('darkgrid')
# 中文显示问题解决
plt.rcParams['font.sans-serif'] = ["SimHei"]
plt.rcParams["axes.unicode_minus"] = False
## 数据读取 data = pd.read_excel('rfm.xlsx')
X = data.drop(columns = 'user_id')
## KMeans模型构建
k_means = KMeans(init="k-means++", n_clusters=8,random_state=123)
k_means.fit(X)
## 类别查看 data['categories'] = k_means.labels_
## 相关属性查看
k_means.cluster_centers_
k_means.verbose
## 机器帮助判断(等深分箱)
result = k_means.cluster_centers_
reuslt = pd.DataFrame(result)
reuslt['R_label'] = pd.qcut(reuslt[2],2,labels = range(1,3)).astype('int')
reuslt['F_label'] = pd.qcut(reuslt[0],2,labels = range(1,3)).astype('int')
reuslt['M_label'] = pd.qcut(reuslt[1],2,labels = range(1,3)).astype('int')
## 客户分类打标签 for i,j in data.iterrows(): if j['categories'] == 0 or j['categories'] == 2: data.loc[i,'客户类别'] = '一般发展用户' if j['categories'] == 1 or j['categories'] == 5: data.loc[i,'客户类别'] = '重要价值用户' if j['categories'] == 3 or j['categories'] == 7: data.loc[i,'客户类别'] = '重要保持客户' if j['categories'] == 4 or j['categories'] == 6: data.loc[i,'客户类别'] = '一般挽留客户' # 可视化
cate_sta = data['客户类别'].value_counts()
cate_sta = pd.DataFrame(cate_sta)
sns.barplot(y='客户类别', x=cate_sta.index, data=cate_sta)
plt.title('用户类别统计')
plt.show()
从上图可以看到,利用KMeans的估计器,我们已经得到了每个id所属的类别,那么现在的问题是,该怎么判断用户是哪种客户类别呢(Tips:用户类别分为8种,不清楚的读者可以回顾前文),这时候就需要用到类中心点,通过判断类中心点来给每种分类一个判断,下表为每个类别对应的类中心点。
有了每个类别的类中心点,我们就需要对每个类赋予RFM模型中的客户类别,本文在这方面选择分箱的技巧进行分类。
对类中心点实现等深分箱,与前文运用等距分箱不同,这里采取的是指定每个类别种的个数是一致的,这也符合RFM模型中的每个值都有4个高,4个低。在Python中利用pd.qcut()函数进行分箱,其参数与等距分箱大同小异,有兴趣的读者可以研究。最后以"2"代表高,"1"代表低。并按照RFM的规则将每种类别赋予一个客户类别,结果如下表:
最后,以柱状图的形式展示该份数据集中的客户类别总数
具体数值如下表:
与前文(Python实现基于客观事实的RFM模型)对比,本文将该份数据集中的用户分为4类(一般发展用户、重要保持客户、一般挽留客户、重要价值用户),而前文将用户分为5类(一般发展用户、一般挽留用户、重要挽留客户、一般保持用户、重要发展用户)。可以看出,两者都识别出了一般发展用户的信息,且其所占比例也是最多的。不同之处在于,基于KMeans聚类模型的RFM模型可以挖掘出重要保持客户、重要价值用户的信息,而基于客观事实的RFM模型对一般挽留用户较为敏感。
因此,对于决策者而言,每个模型得到的RFM模型是不一致的,而决策者应该从模型结果的相同点入手,如该份数据,两个模型都发现了一般发展用户所占比例是最大的,代表其解释性强。而对于模型间的不同点,则需要更深入的探讨如何取舍的问题。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
数据清洗是 “数据价值挖掘的前置关卡”—— 其核心目标是 “去除噪声、修正错误、规范格式”,但前提是不破坏数据的真实业务含 ...
2025-10-17在数据汇总分析中,透视表凭借灵活的字段重组能力成为核心工具,但原始透视表仅能呈现数值结果,缺乏对数据背景、异常原因或业务 ...
2025-10-17在企业管理中,“凭经验定策略” 的传统模式正逐渐失效 —— 金融机构靠 “研究员主观判断” 选股可能错失收益,电商靠 “运营拍 ...
2025-10-17在数据库日常操作中,INSERT INTO SELECT是实现 “批量数据迁移” 的核心 SQL 语句 —— 它能直接将一个表(或查询结果集)的数 ...
2025-10-16在机器学习建模中,“参数” 是决定模型效果的关键变量 —— 无论是线性回归的系数、随机森林的树深度,还是神经网络的权重,这 ...
2025-10-16在数字化浪潮中,“数据” 已从 “辅助决策的工具” 升级为 “驱动业务的核心资产”—— 电商平台靠用户行为数据优化推荐算法, ...
2025-10-16在大模型从实验室走向生产环境的过程中,“稳定性” 是决定其能否实用的关键 —— 一个在单轮测试中表现优异的模型,若在高并发 ...
2025-10-15在机器学习入门领域,“鸢尾花数据集(Iris Dataset)” 是理解 “特征值” 与 “目标值” 的最佳案例 —— 它结构清晰、维度适 ...
2025-10-15在数据驱动的业务场景中,零散的指标(如 “GMV”“复购率”)就像 “散落的零件”,无法支撑系统性决策;而科学的指标体系,则 ...
2025-10-15在神经网络模型设计中,“隐藏层层数” 是决定模型能力与效率的核心参数之一 —— 层数过少,模型可能 “欠拟合”(无法捕捉数据 ...
2025-10-14在数字化浪潮中,数据分析师已成为企业 “从数据中挖掘价值” 的核心角色 —— 他们既要能从海量数据中提取有效信息,又要能将分 ...
2025-10-14在企业数据驱动的实践中,“指标混乱” 是最常见的痛点:运营部门说 “复购率 15%”,产品部门说 “复购率 8%”,实则是两者对 ...
2025-10-14在手游行业,“次日留存率” 是衡量一款游戏生死的 “第一道关卡”—— 它不仅反映了玩家对游戏的初始接受度,更直接决定了后续 ...
2025-10-13分库分表,为何而生? 在信息技术发展的早期阶段,数据量相对较小,业务逻辑也较为简单,单库单表的数据库架构就能够满足大多数 ...
2025-10-13在企业数字化转型过程中,“数据孤岛” 是普遍面临的痛点:用户数据散落在 APP 日志、注册系统、客服记录中,订单数据分散在交易 ...
2025-10-13在数字化时代,用户的每一次行为 —— 从电商平台的 “浏览→加购→购买”,到视频 APP 的 “打开→搜索→观看→收藏”,再到银 ...
2025-10-11在机器学习建模流程中,“特征重要性分析” 是连接 “数据” 与 “业务” 的关键桥梁 —— 它不仅能帮我们筛选冗余特征、提升模 ...
2025-10-11在企业的数据体系中,未经分类的数据如同 “杂乱无章的仓库”—— 用户行为日志、订单记录、商品信息混杂存储,CDA(Certified D ...
2025-10-11在 SQL Server 数据库操作中,“数据类型转换” 是高频需求 —— 无论是将字符串格式的日期转为datetime用于筛选,还是将数值转 ...
2025-10-10在科研攻关、工业优化、产品开发中,正交试验(Orthogonal Experiment)因 “用少量试验覆盖多因素多水平组合” 的高效性,成为 ...
2025-10-10