让Python猜猜你是否能约会成功
我是一个婚恋网站的数据分析师,新入职的第二天,接到老板的任务,让我预测来婚恋网站新注册的男生&女生是否会约会成功。
如何预测一个新来的男生是否会约会成功呢?这很简单,只需要调出一下数据库中之前注册网站的会员信息及跟踪情况,看看和这个新来的男生条件最接近的男生是否约会成功了,那么就可以大致预估新来的男生是否会约会成功。中国有句老话叫做“近朱者赤,近墨者黑”,正是这个道理。比如下图,假设我们将男生的条件划分为三个维度,颜值、背景和收入。蓝色点代表约会成功,灰色点代表未约会成功。红色点代表新来的男生,他和两个蓝色点,一个灰色点最接近,因此点约会成功的可能性是2/3。
KNN算法简介
上述思路所用到的数据挖掘算法为KNN算法, KNN(K Nearest Nighbor),K最邻域法属于惰性算法,其特点是不事先建立全局的判别公式和规则。当新数据需要分类的时候,根据每个样本和原有样本的距离,取最近K个样本点的众数(Y为分类变量)或者均值(Y为连续变量)作为新样本的预测值。实做KNN只需要考虑以下三件事情:
1. 数据的前处理
数据的属性有Scale的问题,比如收入和年龄的量纲单位不同,则不能简单的加总来计算距离,需要进行极值的正规化,将输入变量维度的数据都转换到【0,1】之间,这样才能进行距离的计算。计算公式如下:
2. 距离的计算
一般使用欧几里得距离,勾股定理大家都学过,计算两点之间的距离,不多说。
3. 预测结果的推估
预测过程中我们会同时输出预测的概率值,同时我们需要去了解几个指标的含义。
回应率(precision):
捕捉率(recall):
F指标(f1-score):F指标 同时考虑Precision & Recall
使用Python进行实做
此部分的思路如下:
1. 读入数据集
2. 描述性分析与探索性分析
3. KNN模型建立
4. 模型的效果评估
数据集描述:此数据集为取自某婚恋网站往期用户信息库,含100个观测,8个变量。
# 加载所需包
%matplotlib inline
import os
import numpy as np
from scipy import stats
import pandas as pd
import sklearn.model_selection as cross_validation
import matplotlib.pyplot as plt
import seaborn as sns
import math
from scipy import stats,integrate
import statsmodels.api as sm
# 加载数据并查看前5行
orgData = pd.read_csv('date_data2.csv')
orgData.head()
我从数据库中挑选了收入、魅力值、资产、教育等级变量,并对收入、魅力值和资产进行了分类排序。
# 查看数据集的信息
orgData.info()
从上述信息可以看出数据集总共有100个观测,8个变量。其中浮点型2个,整型6个。还可以看出这个数据集占用了我电脑7k的内存。
# 对数值型变量做描述性统计分析
orgData.describe()
Python的语法就是这么简洁到令人发指。从上述信息我们可以观察到各变量的计数、最大值、最小值、平均值等信息。以income为例,平均值为9010元,中位数为7500元。我们猜想是收入被平均了,如何更直观的看到呢?很简单,我们画个直方图。
# 数据可视化探索
# 查看收入分布情况 直方图
sns.distplot(orgData['income'],fit=stats.norm);
果然,我们的收入被平均了。其他的数值型变量也可以照同样方法画画看。同时,我们想看看类别型的字段和目标变量的关系。
# 查看教育等级和是否约会成功 条形图
sns.barplot(x='educlass',y='Dated',data=orgData);
果然,教育等级越高的人约会成功的概率越高。这么多分类变量,我如何在一张图中呈现呢?很简单,设定面板数,这里我们分类的计数图。
# 查看各分类变量和目标变量关系
fig, (axis1,axis2,axis3,axis4) = plt.subplots(1,4,figsize=(15,5))
sns.countplot(x='Dated', hue="educlass", data=orgData, order=[1,0], ax=axis1)
sns.countplot(x='Dated', hue="income_rank", data=orgData, order=[1,0], ax=axis2)
sns.countplot(x='Dated', hue="attractive_rank", data=orgData, order=[1,0], ax=axis3)
sns.countplot(x='Dated', hue="assets_rank", data=orgData, order=[1,0], ax=axis4)
可以看出,教育等级,收入,魅力值,资产都和是否约会成功有密切关系。
说了这么多,下面我们开始用KNN建模,让机器告诉我们结果吧。
# 选取自变量和因变量
X = orgData.ix[:, :4]
Y = orgData[['Dated']]
X.head()
# 进行极值的标准化
from sklearn import preprocessing
min_max_scaler = preprocessing.MinMaxScaler()
X_scaled = min_max_scaler.fit_transform(X)
X_scaled[1:5]
此部分返回了自变量进行标准化之后的2~5行值。
#划分训练集和测试集
train_data, test_data, train_target, test_target = cross_validation.train_test_split(
X_scaled, Y, test_size=0.2, train_size=0.8, random_state=123)
划分训练集和测试集,训练集用来训练模型,测试集用来测试模型,训练集样本和测试集样本量比例为8:2.同时设定随机种子数。
# 建模
from sklearn.neighbors import KNeighborsClassifier
model = KNeighborsClassifier(n_neighbors=3) # 默认欧氏距离
model.fit(train_data, train_target.values.flatten())
test_est = model.predict(test_data)
我们首先从导入了KNN分类器,k值设置为3,然后用模型去训练训练集,并且用测试数据集来测试模型结果,输出到test_est对象中。
# 模型评估
import sklearn.metrics as metrics
print(metrics.confusion_matrix(test_target, test_est, labels=[0, 1])) # 混淆矩阵
print(metrics.classification_report(test_target, test_est))
可以看出,模型的命中率和回应率均值都达到了90%。F指标为0.9
好了,模型的结果还勉强满意,美滋滋,做个报告去和老板交差了。
【后话】当然,这里面只是用了一个简单的数据集去实操了一下KNN的做法,操作和语法都比较简单易用理解,同时遍历了一下我们数据挖掘的流程,相应的知识及后续的知识没有做过多的展开,比如前端的数据如何清洗,KNN中K值如何设定和交叉验证,使用朴素贝叶斯预测模型的准确率,特征选择,模型融合等。希望大家能有所收获。
~ From CDA学员
CDA LEVEL II-Python数据挖掘课程,10.14开课,本课程以案例为主线,结合开源Python工具,全面金融、电信、银行等行业的主要数据挖掘主题。而且注重业务与算法的深入结合,在轻松的氛围内体会算法的奇妙之处。
【课程信息】
北京&远程直播:10月14~10月29
授课安排:现场班5900元,远程班4400元
(1) 授课方式:面授直播两种形式,中文多媒体互动式授课方式
(2) 授课时间:上午9:00-12:00,下午13:30-16:30,16:30-17:00(答疑)
(3) 学习期限:现场与视频结合,长期学习加练习答疑。
【课程阶段】
第一阶段:[10.14] 数据挖掘与Python入门
第二阶段:[10.15] 数据挖掘模型与组合算法
第三阶段:[10.21] KNN与线性回归
第四阶段:[10.22] 逻辑回归与SVM
第五阶段:[10.28] 文本分析与社会网络分析
第六阶段:[10.29] 综合案例分析
第七阶段:[线上选修] 数据分析统计基础理论(一周)
第八阶段:[线上选修] Mysql数据库基础知识(一周)
第九阶段:[线上选修] Python数据可视化(一周)
【课程讲师】
王小川
CDA数据分析师讲师/同济大学管理学博士
现就职于国内某大型券商研究所,从事量化投资相关工作,并承担了部分高校统计课程教学任务。长期研究机器学习在统计学中的应用,精通MATLAB、Python、SAS等统计软件,热衷数据分析和数据挖掘工作,有着扎实的理论基础和丰富的实战经验。著有《MATLAB神经网络30个案例分析》一书。
赵仁乾
CDA数据分析研究院讲师/京邮电大学管理科学与工程硕士
现就职于北京电信规划设计院,从事移动、联通集团及各省分公司市场、业务、财务规划、经济评价及运营咨询。重点研究方向包括离网用户挖掘、市场细分与精准营销、移动网络价值区域分析、潜在价值客户挖掘等。
联系方式:
王老师
Tel:18511302788
QQ:2881989710
Mail:wzd@cda.cn
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-24以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《刘静:10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda ...
2025-04-23大咖简介: 刘凯,CDA大咖汇特邀讲师,DAMA中国分会理事,香港金管局特聘数据管理专家,拥有丰富的行业经验。本文将从数据要素 ...
2025-04-22CDA持证人简介 刘伟,美国 NAU 大学计算机信息技术硕士, CDA数据分析师三级持证人,现任职于江苏宝应农商银行数据治理岗。 学 ...
2025-04-21持证人简介:贺渲雯 ,CDA 数据分析师一级持证人,互联网行业数据分析师 今天我将为大家带来一个关于用户私域用户质量数据分析 ...
2025-04-18一、CDA持证人介绍 在数字化浪潮席卷商业领域的当下,数据分析已成为企业发展的关键驱动力。为助力大家深入了解数据分析在电商行 ...
2025-04-17CDA持证人简介:居瑜 ,CDA一级持证人,国企财务经理,13年财务管理运营经验,在数据分析实践方面积累了丰富的行业经验。 一、 ...
2025-04-16持证人简介: CDA持证人刘凌峰,CDA L1持证人,微软认证讲师(MCT)金山办公最有价值专家(KVP),工信部高级项目管理师,拥有 ...
2025-04-15持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。在实际生活中,我们可能会 ...
2025-04-14在 Python 编程学习与实践中,Anaconda 是一款极为重要的工具。它作为一个开源的 Python 发行版本,集成了众多常用的科学计算库 ...
2025-04-14随着大数据时代的深入发展,数据运营成为企业不可或缺的岗位之一。这个职位的核心是通过收集、整理和分析数据,帮助企业做出科 ...
2025-04-11持证人简介:CDA持证人黄葛英,ICF国际教练联盟认证教练,前字节跳动销售主管,拥有丰富的行业经验。 本次分享我将以教培行业为 ...
2025-04-11近日《2025中国城市长租市场发展蓝皮书》(下称《蓝皮书》)正式发布。《蓝皮书》指出,当前我国城市住房正经历从“增量扩张”向 ...
2025-04-10在数字化时代的浪潮中,数据已经成为企业决策和运营的核心。每一位客户,每一次交易,都承载着丰富的信息和价值。 如何在海量客 ...
2025-04-09数据是数字化的基础。随着工业4.0的推进,企业生产运作过程中的在线数据变得更加丰富;而互联网、新零售等C端应用的丰富多彩,产 ...
2025-04-094月7日,美国关税政策对全球金融市场的冲击仍在肆虐,周一亚市早盘,美股股指、原油期货、加密货币、贵金属等资产齐齐重挫,市场 ...
2025-04-08背景 3月26日,科技圈迎来一则重磅消息,苹果公司宣布向浙江大学捐赠 3000 万元人民币,用于支持编程教育。 这一举措并非偶然, ...
2025-04-07在当今数据驱动的时代,数据分析能力备受青睐,数据分析能力频繁出现在岗位需求的描述中,不分岗位的任职要求中,会特意标出“熟 ...
2025-04-03在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01