3种常见集成算法模型的详细理解-CDA数据分析师官网

3种常见集成算法模型的详细理解

2020-07-08

集成算法（Emseble Learning）是构建多个学习器，然后通过一定策略将这些学习器组合起来，让它们来完成学习任务的，通常可以获得比单一学习显著优越的学习器。

常见的集成算法模型有：Bagging、Boosting、Stacking。下面小编对这三种模型进行简单的介绍。

1.Bagging的原理首先是在自助采样法(bootstrap sampling)的基础上，随机得到一些样本集训练，分别对不同的基学习器进行训练，然后对不同的基学习器得到的结果投票，从而得出最终的分类结果。自助采样法得到的样本大概会有63%的数据样本被使用，剩下的可以用来做验证集。

Bagging最典型代表是：随机森林

随机森林，需要分为随机和森林来进行理解

随机就是每个分类器的数据采样和选择特征都是随机的，但是数量都是一样的,而且都是有放回的选取

森林，就是决策树，多个决策树也就构成了森林。

2.Boosting 串行：以一个弱分类器开始，然后不断增加分类器，以权重参数表示其重要性

本思想是“逐步强化”。计算过程为：

所有样本权重相同，训练得到第一个弱分类器。

根据上一轮的分类效果，调整样本的权重，上一轮分错的样本权重提高，重新进行训练。

重复以上步骤，直到达到约定的轮数结束。

由于处于分类边界的点容易分错，因此会得到更高的权重。

典型代表是AdaBoost、XgBoost算法。

3.Stacking 堆叠：聚合使用多个分类器

计算过程：

使用多个分类器各自独立进行第一轮的的训练，然后测试得到第一轮的结果，

紧接着将第一轮的训练结果作为第二轮的训练输入，得出结果

不断迭代，直到达到迭代的次数限制为止。

优点：

Stacking综合使用了多个分类器，准确率很高，

第一轮中多个分类器独立训练，较好地避免了过拟合的现象出现。

缺点：效率非常低

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

决策树集成算法随机森林特征过拟合

数据分析咨询请扫描二维码

上一篇这3种数据标准化方法，你知道吗？

下一篇应该怎样看待数据分析？是技能还是职业？

3种常见集成算法模型的详细理解

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析师的发展前景

数据分析师教程《Python数据分析极简入门》第2节 4 ...

数据分析师的工作内容是什么

数据分析师必须掌握的技能有哪些

数据分析入门难吗

数据分析能干啥

数据分析行业的前景

数据分析的常用方法

什么是企业数字化转型

女生做数据分析师最好去哪个行业

大数据技术专业学什么

数据分析师教程《Python数据分析极简入门》第2节 3 ...

什么行业越老越吃香

利用python进行数据分析

大数据与会计专业主要学什么

成为数据分析师需要哪些技能

python可以做数据分析吗

数据分析师的日常工作有哪些？

数据分析五种方法

数字化转型是什么意思