R语言学习之决策树-CDA数据分析师官网

R语言学习之决策树

2015-12-10

R语言学习之决策树

决策树最重要的2个问题：决策树的生长问题，决策树的剪枝问题。

生长问题又包括了2个子问题：从分组变量的众多取值中选择一个最佳分割点和从众多输入变量中选择当前最佳分组变量；

剪枝问题包括2个子问题：预修剪（事先指定树的最大深度，叶子的最小样本量等）和后修剪（先让树充分生长，然后边修剪边检验）。

在R中，实现决策树需要加载包library(rpart)，如果想把分类图画的漂亮点，还可以加载这个包：library(rpart.plot)

## rpart.control对树进行一些设置

## xval是10折交叉验证

## minsplit是最小分支节点数，这里指大于等于20，那么该节点会继续分划下去，否则停止

## minbucket：叶子节点最小样本数

## maxdepth：树的深度

## cp全称为complexity parameter，指某个点的复杂度，对每一步拆分,模型的拟合优度必须提高的程度，用来节省剪枝浪费的不必要的时间，R内部是怎么计算的还真不知道唉

ct <- rpart.control(xval=10, minsplit=20, cp=0.1)

## kyphosis是rpart这个包自带的数据集

## na.action：缺失数据的处理办法，默认为删除因变量缺失的观测而保留自变量缺失的观测。

## method：树的末端数据类型选择相应的变量分割方法:

## 连续性method=“anova”,离散型method=“class”,计数型method=“poisson”,生存分析型method=“exp”

## parms用来设置三个参数:先验概率、损失矩阵、分类纯度的度量方法（gini和information）

## cost我觉得是损失矩阵，在剪枝的时候，叶子节点的加权误差与父节点的误差进行比较，考虑损失矩阵的时候，从将“减少-误差”调整为“减少-损失”

fit <- rpart(Kyphosis~Age + Number + Start,

data=kyphosis, method="class",control=ct，

parms = list(prior = c(0.65,0.35), split = "information"));

## 作图有2种方法

## 第一种：

par(mfrow=c(1,3));plot(fit); text(fit,use.n=T,all=T,cex=0.9)

## 第二种，这种会更漂亮一些：

rpart.plot(fit, branch=1, branch.type=2, type=1, extra=102,

shadow.col="gray", box.col="green",

border.col="blue", split.col="red",

split.cex=1.2, main="Kyphosis决策树");

## rpart包提供了复杂度损失修剪的修剪方法，printcp会告诉分裂到每一层，cp是多少，平均相对误差是多少

## 交叉验证的估计误差（“xerror”列），以及标准误差(“xstd”列)，平均相对误差=xerror±xstd

printcp(fit)

## 通过上面的分析来确定cp的值

## 我们可以用下面的办法选择具有最小xerror的cp的办法：

## prune(fit, cp= fit$cptable[which.min(fit$cptable[,"xerror"]),"CP"])

fit2 <- prune(fit, cp=0.01)

待续。。。。。。

注：

1.在预测分类目标字段时为类别指定先验概率。先验概率是对总体（从中可提取训练数据）中的每个目标分类的总相对频率的估计。换句话说，先验概率是对预测值有任何了解之前对每个可能的目标值的概率估计。确定决策树分支准则的时候会用到，具体内部算法，我暂时还没有查到。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

决策树先验概率字段 R语言概率估计

数据分析咨询请扫描二维码

上一篇图论在大数据分析中的作用！

下一篇CDA认证再升一档！与国家共同推进大数据人才培养标准教育事业！

R语言学习之决策树

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析师的工作内容是什么

数据分析师必须掌握的技能有哪些

数据分析入门难吗

数据分析能干啥

数据分析行业的前景

数据分析的常用方法

什么是企业数字化转型

女生做数据分析师最好去哪个行业

大数据技术专业学什么

数据分析师教程《Python数据分析极简入门》第2节 3 ...

什么行业越老越吃香

利用python进行数据分析

大数据与会计专业主要学什么

成为数据分析师需要哪些技能

python可以做数据分析吗

数据分析师的日常工作有哪些？

数据分析五种方法

数字化转型是什么意思

未来发展前景好的十大行业

统计学就业方向及前景