在R中整理数据-CDA数据分析师官网

在R中整理数据

2017-05-23

在R中整理数据

原始数据一般分散杂乱，并含有缺失和错误值，因此在进行数据分析前首先要对数据进行整理。

一、首先，了解原始数据的结构。

可使用如下函数(归属baseR)来查看数据结构：

class(dataobject) 查看数据对象的类别

dim(dataobject) 查看数据的维度

names(dataobject) 查看列名

str(dataobject) 查看数据概要

glimpse(dataobject) 查看数据概要

二、将数据变得整洁

可使用下列函数（归属package: tidyr）整理数据：

1. gather(data, key, value, -col ) 将多个列收紧成关键列值,宽数据变成长数据。

2. spread(data, key, value) 将关键列值扩展成多个列，长数据变成宽数据。

3. separate(data, col, into, sep = "") 将一列分成多列。

4. unite(data, col, ..., sep = "") 将多列合成一列。

杂乱数据的特征和对应处理函数：

1.列名是值（value)而不是变量(variable) ---gather

2.变量同时存在行和列中 ---spread

3.多个变量位于同一列 ---seperate

4.单个观测值位于多张数据表中，多个类型单元位于同张数据表 ---seperate+unite

三、准备用于分析的数据

1.数据的类别如下，可调用class()查看数据的类别，也可使用as.numeric()、as.factor()等函数来转换类别。

character

numeric

integer

factor

logical

2.对日期和时间的处理

需装载的package：lubridate

调用的函数：ymd_hms(), ymd()等。 ymd_hms 对应：年月日_时分秒

例子：

> dmy("17 Sep 2015")
[1] "2015-09-17"

3.字符串的处理

需装载的package：library(stringr)

调用的函数：

str_pad(string, width, side = c("left", "right", "both"), pad = " ") 填充字符串

str_trim(string) 清除字符串首尾空格

str_detect(string, pattern) 检测字符串中是否存在某个pattern

str_replace(string, pattern, replacement) 替代字符串中匹配的pattern

na.omit(df) 移除有缺失值的行

complete.cases(df) 查看没有缺失值的行

下面两个字符处理函数在baseR中

toupper(string) 转换成大写

tolower(string) 转换成小写

4. 缺失值和特殊值（miss and special value）

在R中，缺失值一般用NA表示。特殊值有 Inf(无穷值）、NaN（not a number）。

查看数据中是否有NA：

is.na(data)

any(is.na(data))

查看数据中没有缺失值的行：complete.cases(data)

在数据中移除有缺失值的行：na.omit(data)

5.处理数据中的异常值和明显错误

常用summary() 和 hist() 函数来确认异常值（或极端值）

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

特征数据分析

数据分析咨询请扫描二维码

上一篇图论在大数据分析中的作用！

下一篇CDA认证再升一档！与国家共同推进大数据人才培养标准教育事业！

在R中整理数据

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析工具推荐

数据分析在商业决策中的应用

数据架构文档的编写规范

数据开放共享的挑战与解决方案

数据开放共享在科研中的价值

数据模型在数据仓库中的作用

数据设计与开发的后期维护与优化

数据服务未来的发展方向

未来最有前景的行业

现在什么行业发展前景最好

学数据分析能在什么单位工作

成为数据分析师要学什么？职业技能与学习规划 ...

学数据分析需要掌握哪些课程？详细课程指南 ...

数据分析工具软件有哪些？行业推荐的必备工具清单 ...

数据分析软件推荐，助你高效处理复杂数据 ...

数据分析常用函数公式汇总，Excel与Python必备技巧 ...

Python是什么？如何掌握这门热门编程语言 ...

人工智能专业学什么？课程内容与职业发展路径解析 ...

爬虫工程师的工作内容与未来发展机会 ...

如何成为大数据架构师？技能需求与职业规划 ...