数据清洗是整个数据分析过程中一个非常重要的环节。数据清洗的目的有两个,第一是通过清洗让数据可用。第二是让数据变的更适合进行后续的分析工作。本篇文章将介绍几种简单的使用R进行数据清洗的方法。
读取并创建数据表
首先将数据读取到R中,并创建名为loan的数据表。后面我们将对这个数据表进行清洗。
#读取并创建数据表
loan=data.frame(read.csv('loan.csv',header = 1))
使用head函数查看数据表的前5行。
#查看数据表前5行
head(loan)
数据清洗
重复值
使用duplicated函数查看数据表中的用户ID列是否存在重复值,duplicated函数返回该字段每一行的检查结果,重复的标记为TURE,不重复的值标记为FALSE。在下面的结果中可以看到数据表的用户ID列最后四个值为重复值。
#查看特定列是否有重复
duplicated(loan$member_id)
[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[23] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE TRUE TRUE TRUE TRUE
对于包含重复值的数据表,可以使用unique函数提取数据表中的唯一值,并用唯一值覆盖原有数据,达到去除重复值的目的。下面的代码提取了loan数据表中的唯一值,并重新赋给loan数据表。此时loan数据表中就不包含重复值了。
#删除重复值,返回唯一值列表
loan=unique(loan)
去除完重复值后,再次使用duplicated函数查看,返回的结果中都为FALSE,已经没有重复值了。
#查看重复值
duplicated(loan$member_id)
[1] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[23] FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
查找空值
使用is.na函数查看数据表中的空值,和重复值一样,空值在结果中显示为TURE,非空值显示为FALSE。下面是对loan数据表检查空值的代码和结果。
#查找数据表中的空值
head(is.na(loan),n = 10)
除了对数据表查看空值以外,还可以对表中特定的列检查空值,在is.na函数中输入表和列的名称,就会看到该列中空值的情况,TRUE为空值,FALSE为非空值。
#查看特定列中的空值
is.na(loan$loan_amnt)
[1] FALSE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
[23] TRUE FALSE FALSE FALSE FALSE FALSE FALSE FALSE
填充空值
对于数据表中的空值,有两种处理方法,第一种是用0进行填充,第二种是删除包含空值的行。下面是第一种方法,将loan表中的空值填充为0.
#将空值填充为0
loan[is.na(loan)] <- 0
[/code]
第二种方法使用 删除loan表中包含有空值的行。
[code lang="r"]
#删除空值所在行
loan<-na.omit(loan)
[/code]
<h2>
大小写转换</h2>
英文字母的大小写和字符间的空格是影响数据统计的一个常见原因。例如下面我们使用table函数对数据表按贷款状态进行汇总时,相同的贷款状态由于大小写和空格被分割成多种状态。造成统计数据不可用。下面我们对这个字段进行大小写转换和去除空格的清洗。
#按贷款状态进行汇总
table(loan$loan_status)
Fully Paid charged off Charged Off Charged Off Current fully paid fully Paid Fully paid Fully Paid
1 1 8 1 1 2 1 1 15
将英文字母转换为小写的函数是tolower,下面的代码中我们将贷款状态列统一转化为小写字母,然后重复赋给数据表中的贷款状态列。
#将贷款状态转换为小写
loan$loan_status=tolower(loan$loan_status)
转化完成后,再次使用table函数按贷款状态进行汇总,下面下面的结果中可以看到分类从之前的8个减少到了4个,并且的分类都为小写字母。下面我们在继续进行空格清洗。
#按贷款状态进行汇总
table(loan$loan_status)
fully paid charged off charged off current fully paid
1 9 1 1 19
去除两侧空格
去除字符间的空格比大小写转换要复杂一些,首先我们将需要去除空格的列单独拿出来
#提取贷款状态列
loan_status=as.vector(loan$loan_status)
然后使用trim函数去除该列中的空格,trim函数在raster包中,因此需要先安装raster的包。
#安装raster包
install.packages('raster')
安装完成后加载raster包。
#加载raster包
library(raster)
加载完raster包后,使用trim函数去除贷款状态字符中的空格。
#去除贷款状态字段中的空格
loan_s=trim(loan_status)
使用去除完空格的贷款状态覆盖数据表中原有的贷款状态列。
#覆盖原有贷款状态字段
loan$loan_status=loan_s
去除完空格后,再次按贷款状态进行汇总,结果从5个减少为3个,恢复正常。
#按贷款状态进行汇总
table(loan$loan_status)
charged off current fully paid
10 1 20
查看数据类型
使用typeof函数可以查看数据表中字段的数据类型,下面的代码对数据表中的用户收入字段进行数据类型查看,结果为double型。
#查看用户收入字段的数据类型
typeof(loan$annual_inc)
[1] "double"
更改数据类型
使用as.integer函数将用户收入字段的数据类型由double型转化为integer型。
#将用户收入字段更改为integer
loan$annual_inc=as.integer(loan$annual_inc)
转化后再次使用typeof函数查看数据类型,此时已经显示数据类型为integer。
#查看用户收入字段
typeof(loan$annual_inc)
[1] “integer”
数据预处理
数据分列
很多时候我们需要对一列数据进行分裂处理,在excel中直接使用分列功能就可以完成,在R中,使用strsplit函数也可以实现。首先将需要分列的列单独提取出来。这里我们需要对贷款期限进行分裂。
#提取贷款期限字段
term=as.vector(loan$term)
[1] ” 36 months” ” 60 months” ” 36 months” ” 36 months” ” 60 months” ” 36 months” ” 60 months” ” 36 months” ” 60 months” ” 60 months”
[11] ” 60 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months”
[21] ” 60 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 36 months” ” 60 months” ” 36 months” ” 36 months”
[31] ” 36 months” ” 60 months” ” 36 months” ” 36 months”
然后使用strsplit函数对贷款期限进行分列,分列的依据是空格。具体代码和分列的结果如下所示。
#使用空格对字段进行分裂
strsplit(term,' ')
[[1]]
[1] “” “36” “months”
[[2]]
[1] “” “60” “months”
[[3]]
[1] “” “36” “months”
除了分列以外,还可以对一个字段中的某些信息进行提取,并单独形成一列进行分析。下面我们对贷款日期中的月份进行提取,并合并到原数据表中。提取月份所使用的函数为substr。下面的代码中对贷款日期字段的4-6位进行提取,这部分对应着月信息。
#提取贷款日期字段中的月信息(4-6位)
month=substr(loan$issue_d,4,6)
#查看提取的月信息
month
[1] “Jun” “Sep” “Jun” “Apr” “Jun” “Jan” “May” “Dec” “Aug” “Mar” “Dec” “Aug” “Nov” “Jun” “Mar” “Jun” “Apr” “May” “Jul” “Feb” “Jun” “Jun”
[23] “Jun” “Mar” “Mar” “Sep” “Jun” “May” “Jun” “Dec” “Jun” “May” “Jun” “Dec”
将提取出来的月信息与原数据表合并,并查看前5行数据,从下面的结果中可以看出第一列是新增加的月信息。
#将月信息与原贷款表合并并查看前5行
head(cbind(month,loan))
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29