作者 | 刘顺祥
来源 | 数据分析1480
前言
在《Python数据清洗(一):类型转换和冗余数据删除》中分享了有关数据类型转换和冗余信息删除的两个知识点,接下来继续讲解缺失值的识别和处理办法。缺失值指的是由于人为或机器等原因导致数据记录的丢失或隐瞒,缺失值的存在一定程度上会影响后续数据分析和挖掘的结果,所以对他的处理将显得尤为重要。
缺失值的识别
判断一个数据集是否存在缺失观测,通常从两个方面入手,一个是变量的角度,即判断每个变量中是否包含缺失值;另一个是数据行的角度,即判断每行数据中是否包含缺失值。关于缺失值的判断可以使用isnull方法。下面使用isnull方法对data3数据(数据可至中---下载)进行判断,统计输出的结果如下表所示。
# 判断各变量中是否存在缺失值data3.isnull().any(axis = 0)# 各变量中缺失值的数量data3.isnull().sum(axis = 0)# 各变量中缺失值的比例data3.isnull().sum(axis = 0)/data3.shape[0]
如上结果所示,数据集data3中有三个变量存在缺失值,即gender、age和edu,它们的缺失数量分别为136、100和1,927,缺失比例分别为4.53%、3.33%和64.23%。
需要说明的是,判断数据是否为缺失值NaN,可以使用isnull“方法”,它会返回与原数据行列数相同的矩阵,并且矩阵的元素为bool类型的值,为了得到每一列的判断结果,仍然需要any“方法”(且设置“方法”内的axis参数为0);统计各变量的缺失值个数可以在isnull的基础上使用sum“方法”(同样需要设置axis参数为0);计算缺失比例就是在缺失数量的基础上除以总的样本量(shape方法返回数据集的行数和列数,[0]表示取出对应的数据行数)。
读者可能对代码中的“axis=0”感到困惑,它代表了什么?为什么是0?是否还可以写其他值?下面通过图表的形式来说明axis参数的用法:
假设上图为学生的考试成绩表,如果直接对成绩表中的分数进行加和操作,得到的是所有学生的分数总和(很显然没有什么意义),如果按学生分别计算总分,将是上图从左到右的转换。该转换的特征是列数发生了变化(可以是列数减少,也可以是列数增多),类似于在水平方向上受了外部的压力或拉力,这样的外力就理解为轴axis为1的效果(便于理解,可以想象为飞机在有动力的情况下,可以保持水平飞行状态)。
同样对于如上的学生成绩表,如果直接对成绩表中的分数计算平均值,得到的是所有学生的平均分数(很显然也没有什么意义),如果按学科分别计算平均分,将是上图中从上到下的转换。该转换的特征是行数发生了变化(可以是行数减少,也可以是行数增多),类似于在垂直方向上受了外部的挤压或拉伸,这样的外力就理解为轴axis为0的效果(便于理解,可以想象为飞机在没有动力的情况下,呈下降趋势)。
如上是关于变量方面的缺失值判断过程,还可以利用下方的代码识别数据行的缺失值分布情况:
# 判断数据行中是否存在缺失值
如上结果所示,返回True值,说明data3中的数据行存在缺失值。代码中使用了两次any“方法”,第一次用于判断每一行对应的True(即行内有缺失值)或False值(即行内没有缺失值);第二次则用于综合判断所有数据行中是否包含缺失值。同理,进一步还可以判断缺失行的具体数量和占比,代码如下:
# 缺失观测的行数data3.isnull().any(axis = 1).sum()# 缺失观测的比例data3.isnull().any(axis = 1).sum()/data3.shape[0]
如上结果所示,3000行的数据集中有2024行存在缺失值,缺失行的比例约67.47%。不管是变量角度的缺失值判断,还是数据行角度的缺失值判断,一旦发现缺失值,都需要对其作相应的处理,否则一定程度上都会影响数据分析或挖掘的准确性。
缺失值的处理办法
通常对于缺失值的处理,最常用的方法无外乎删除法、替换法和插补法。删除法是指将缺失值所在的观测行删除(前提是缺失行的比例非常低,如5%以内),或者删除缺失值所对应的变量(前提是该变量中包含的缺失值比例非常高,如70%左右);替换法是指直接利用缺失变量的均值、中位数或众数替换该变量中的缺失值,其好处是缺失值的处理速度快,弊端是易产生有偏估计,导致缺失值替换的准确性下降;插补法则是利用有监督的机器学习方法(如回归模型、树模型、网络模型等)对缺失值作预测,其优势在于预测的准确性高,缺点是需要大量的计算,导致缺失值的处理速度大打折扣。下面将选择删除法、替换法和插补法对缺失值进行处理,代码如下:
# 删除字段 -- 如删除缺失率非常高的edu变量data3.drop(labels = 'edu', axis = 1, inplace=True)# 数据预览data3.head()
如上结果所示,表中的edu变量已被成功删除。对于字段的删除可以选择drop“方法”,其中labels参数用于指定需要删除的变量名称,如果是多个变量,则需要将这些变量名称写在一对中括号内(如['var1','var2','var3']);删除变量一定要设置axis参数为1,因为变量个数发生了变化(所以,借助于axis参数也可以删除观测行啦);inplace则表示是否原地修改,即是否直接将原表中的字段进行删除,这里设置为True,如果设置为False,则将删除变量的预览效果输出来,而非真正改变原始数据。
# 删除观测,-- 如删除age变量中所对应的缺失观测data3_new = data3.drop(labels = data3.index[data3['age'].isnull()],
axis = 0)# 查看数据的规模data3_new.shapeout:(2900, 5)
如上结果所示,利用drop“方法”实现了数据行的删除,但必须将axis参数设置为0,而此时的labels参数则需要指定待删除的行编号。这里的行编号是借助于index“方法”(用于返回原始数据的行编号)和isnull“方法”(用于判断数据是否为缺失状态,如果是缺失则返回True)实现的,其逻辑就是将True对应的行编号取出来,传递给labels参数。
如果变量的缺失比例非常大,或者缺失行的比例非常小时,使用删除法是一个不错的选择,反之,将会丢失大量的数据信息而得不偿失。接下来讲解如何使用替换法处理缺失值,代码如下:
# 替换法处理缺失值data3.fillna(value = {'gender': data3['gender'].mode()[0],
# 使用性别的众数替换缺失性别 'age':data3['age'].mean()
# 使用年龄的平均值替换缺失年龄 }, inplace = True # 原地修改数据 )
# 再次查看各变量的缺失比例data3.isnull().sum(axis = 0)
如上结果所示,采用替换法后,原始数据中的变量不再含有缺失值。缺失值的填充使用的是fillna“方法”,其中value参数可以通过字典的形式对不同的变量指定不同的值。需要强调的是,如果计算某个变量的众数,一定要使用索引技术,例如代码中的[0],表示取出众数序列中的第一个(我们知道,众数是指出现频次最高的值,假设一个变量中有多个值共享最高频次,那么Python将会把这些值以序列的形式存储起来,故取出指定的众数值,必须使用索引)。
正如前文所说,虽然替换法思想简单、效率高效,但是其替换的值往往不具有很高的准确性,于是出现了插补方法。该方法需要使用机器学习算法,不妨以KNN算法为例,对Titanic数据集中的Age变量做插补法完成缺失值的处理。代码如下:
# 读取数据titanic = pd.read_csv('Titanic.csv')# 删除缺失严重的Cabin变量titanic.drop(labels='Cabin', axis = 1,
inplace=True)# 根据Embarked变量,删除对应的缺失行titanic.dropna(subset=['Embarked'], inplace=True)
# 删除无关紧要的变量(这些变量对后面预测年龄没有太多的帮助)
titanic.drop(labels=['PassengerId','Name','Ticket','Embarked'], axis = 1, inplace=True)
# 将字符型的性别变量映射为数值变量titanic.Sex = titanic.Sex.map({'male':1, 'female':0})
# 将数据拆分为两组,一是年龄缺失组,二是年龄非缺失组,后续基于非缺失值构建KNN模型,再对缺失组做预测
nomissing = titanic.loc[~titanic.Age.isnull(),]missing = titanic.loc[titanic.Age.isnull(),]
# 导入机器学习的第三方包from sklearn import neighbors
# 提取出所有的自变量X = nomissing.columns[nomissing.columns != 'Age']
# 构建模型knn = neighbors.KNeighborsRegressor()
# 模型拟合knn.fit(nomissing[X], nomissing.Age)
# 年龄预测pred_age = knn.predict(missing[X])
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今数字化时代,数据分析师的重要性与日俱增。但许多人在踏上这条职业道路时,往往充满疑惑: 如何成为一名数据分析师?成为 ...
2025-04-02最近我发现一个绝招,用DeepSeek AI处理Excel数据简直太爽了!处理速度嘎嘎快! 平常一整天的表格处理工作,现在只要三步就能搞 ...
2025-04-01你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12