变量选择是模型构建的一个重要方面,每个分析人员都必须学习。毕竟,它有助于排除相关变量、偏见和不必要噪音的限制来建立预测模型。
许多分析新手认为,保持所有(或更多)的变量就能产生最佳的模型,因为你不会丢失任何信息。可悲的是,他们错了!
从模型中删除一个变量,增加了模型的精度,这种事情你遇到过多少次?
至少,我已经碰到过很多次。这样的变量往往被发现是相关的,而且会妨碍实现更高的模型精度。今天,我们就来学习如何在R中摆脱这样的变量的方式之一。我必须强调的是,R有一个令人难以置信的公式库。在所有的软件包中,我们进行变量选择的软件包就是Boruta包。
在这篇文章中,我们将重点放在理解相关理论和Boruta包的使用上。我将用一个循序渐进的方法来帮助你更好地理解它。
另外,我还进行了Boruta与其他传统特征选择算法的比较。通过这个比较,你对特征的理解能够达到一个更有意义的新高度,它能为建立一个强大的预测模型奠定基础。“特征”、“变量”和“属性”这些术语会被多次使用,不要混淆哟!
什么是boruta算法?为什么它会有这么奇怪的名字?
Boruta是一种特征选择算法。精确地说,它是随机森林周围的一种包装算法。这个包的名字来源是斯拉夫神话中一个居住在松林的恶魔。
我们知道,特征选择是预测模型中很关键的一步。当构建一个数据集包含多个变量的模型时,这个步骤尤为重要。
当你有兴趣了解变量相关性的价值,而不是只局限于建立一个具有良好的预测精度黑盒的预测模型时候,用boruta算法来处理这些数据集无疑是最佳选择。
它是如何工作的?
下面是boruta算法运行的步骤:
1.首先,它通过创建混合副本的所有特征(即阴影特征)为给定的数据集增加了随机性。
2.然后,它训练一个随机森林分类的扩展数据集,并采用一个特征重要性措施(默认设定为平均减少精度),以评估的每个特征的重要性,越高则意味着越重要。
3.在每次迭代中,它检查一个真实特征是否比最好的阴影特征具有更高的重要性(即该特征是否比最大的阴影特征得分更高)并且不断删除它视为非常不重要的特征。
4.最后,当所有特征得到确认或拒绝,或算法达到随机森林运行的一个规定的限制时,算法停止。
是什么使它与传统的特征选择算法不同?
Boruta遵循所有相关的特征选择方法,它可以捕获结果变量有关的所有的特征。相比之下,大多数传统的特征选择算法都遵循一个最小的优化方法,它们依赖于特征的一个小的子集,会在选择分类上产生最小错误。
在对数据集进行随机森林模型的拟合时,你可以递归地处理每个迭代过程中表现不佳的特征。该方法最大限度地减少了随机森林模型的误差,这将最终形成一个最小化最优特征子集。这通过选择一个输入数据集的过度精简版本发生,反过来,会丢失一些相关的特征。
另一方面,Boruta找到所有的特征,无论其与决策变量的相关性强弱与否。这使得它非常适合被应用于生物医学领域,一部分人会感兴趣了解哪些人类的基因(特征)与某种程度上的特定的医疗条件(目标变量)相关。
R中Boruta的应用(实践)
到此,我们已经了解了Boruta包的理论知识。但这是不够的。真正的挑战现在才开始。让我们学习在R中运用这个包。
第一件事,让我们安装和调用这个包。
> install.packages("Boruta")
> library(Boruta)
现在,我们来加载数据集。本教程中我的数据集选自Practice Problem Loan Prediction
让我们来看看数据。
> setwd("../Data/Loan_Prediction")
> traindata <- read.csv("train.csv", header = T, stringsAsFactors = F)
gsub() 功能被用来将一种表达式用另一种方式代替。在这里我用underscore(_) 替代了blank(“”).
> str(traindata)
> names(traindata) <- gsub("_", "", names(traindata))
让我们来检查一下这个数据集是否有缺失值。
> summary(traindata)
我们发现,许多变量有缺失值。处理缺失值的优先级对实施boruta包是很重要的。此外,该数据集还具有空白值。让我们来清理这个数据集。
现在我们将用NA代替所有的空白。这将有助于我一次性处理所有的NA。
> traindata[traindata == “”] <- NA
在这里,我将用处理缺失值的最简单方法,即成列删除。更先进的缺失值插补的方法和包可以在这里找到。
> traindata <- traindata[complete.cases(traindata),]
让我们将分类变量转换为因子数据类型。
> convert <- c(2:6, 11:13)
> traindata[,convert] <- data.frame(apply(traindata[convert], 2, as.factor))
现在要实施和检查Boruta包的性能。Boruta语法类似于回归(LM)方法。
> set.seed(123)
> boruta.train <- Boruta(Loan_Status~.-Loan_ID, data = traindata, doTrace = 2)
> print(boruta.train)
Boruta performed 99 iterations in 18.80749 secs.
5 attributes confirmed important: ApplicantIncome, CoapplicantIncome,
CreditHistory, LoanAmount, LoanAmountTerm.
4 attributes confirmed unimportant: Dependents, Education, Gender, SelfEmployed.
2 tentative attributes left: Married, PropertyArea.
Boruta对变量数据集中的意义给出了明确的命令。在这种情况下,11种属性中的4个被拒绝,5个被确认,2个属性被指定为暂定。暂定属性的重要性非常接近最好的阴影属性,以至于Boruta无法对随机森林运行的默认数量作出有强烈信心的判定。
现在,我们用图表展示Boruta变量的重要性。
默认情况下,由于缺乏空间,Boruta绘图功能添加属性值到横的X轴会导致所有的属性值都无法显示。在这里我把属性添加到直立的X轴。
> plot(boruta.train, xlab = "", xaxt = "n")
> lz<-lapply(1:ncol(boruta.train$ImpHistory),function(i)
boruta.train$ImpHistory[is.finite(boruta.train$ImpHistory[,i]),i])
> names(lz) <- colnames(boruta.train$ImpHistory)
> Labels <- sort(sapply(lz,median))
> axis(side = 1,las=2,labels = names(Labels),
at = 1:ncol(boruta.train$ImpHistory), cex.axis = 0.7)
蓝色的盒状图对应一个阴影属性的最小、平均和最大Z分数。红色、黄色和绿色的盒状图分别代表拒绝、暂定和确认属性的Z分数。
现在我们对实验性属性进行判定。实验性属性将通过比较属性的Z分数中位数和最佳阴影属性的Z分数中位数被归类为确认或拒绝。让我们开始吧。
> final.boruta <- TentativeRoughFix(boruta.train)
> print(final.boruta)
Boruta performed 99 iterations in 18.399 secs.
Tentatives roughfixed over the last 99 iterations.
6 attributes confirmed important: ApplicantIncome, CoapplicantIncome,
CreditHistory, LoanAmount, LoanAmountTerm and 1 more.
5 attributes confirmed unimportant: Dependents, Education, Gender, PropertyArea,
SelfEmployed.
对属性进行初步分类后的Boruta结果图
现在我们要得出结果了。让我们获取确认属性的列表。
> getSelectedAttributes(final.boruta, withTentative = F)
[1] "Married" "ApplicantIncome" "CoapplicantIncome" "LoanAmount"
[5] "LoanAmountTerm" "CreditHistory"
我们将创建一个来自Boruta最终结果的数据框架。
> boruta.df <- attStats(final.boruta)
> class(boruta.df)
[1] "data.frame"
> print(boruta.df)
meanImp medianImp minImp maxImp normHits decision
Gender 1.04104738 0.9181620 -1.9472672 3.767040 0.01010101 Rejected
Married 2.76873080 2.7843600 -1.5971215 6.685000 0.56565657 Confirmed
Dependents 1.15900910 1.0383850 -0.7643617 3.399701 0.01010101 Rejected
Education 0.64114702 0.4747312 -1.0773928 3.745441 0.03030303 Rejected
SelfEmployed -0.02442418 -0.1511711 -0.9536783 1.495992 0.00000000 Rejected
ApplicantIncome 6.05487791 6.0311639 2.9801751 9.197305 0.94949495 Confirmed
CoapplicantIncome 5.76704389 5.7920332 1.9322989 10.184245 0.97979798 Confirmed
LoanAmount 5.19167613 5.3606935 1.7489061 8.855464 0.88888889 Confirmed
LoanAmountTerm 5.50553498 5.3938036 2.0361781 9.025020 0.90909091 Confirmed
CreditHistory 59.57931404 60.2352549 51.7297906 69.721650 1.00000000 Confirmed
PropertyArea 2.77155525 2.4715892 -1.2486696 8.719109 0.54545455 Rejected
让我们了解用于Boruta 的参数:
maxRuns:随机森林运行的最大次数。如果暂时属性被保留,你可以考虑增加这个参数。默认为100。
doTrace:它指的是详细程度。0指不跟踪。1指一旦属性被清除就作出报告决定。2意味着所有的1另加上报告每一次迭代。默认为0。
holdHistory:存储重要性运行的全部历史,当其设置为TRUE(默认)时。当plotImpHistory 功能被唤醒时生成一个分类器运行vs.重要性的表格。
更复杂的参数请参阅Boruta包文件。
Boruta VS传统特征选择算法
到这里,我们已经学习了在R里实现Boruta包的有关概念和步骤。
如果我们使用一个传统的特征选择算法,如对相同的数据集进行递归特征消除,我们是否最终获得相同的重要性特征?让我们来看看。
现在,我们将学习用于实现递归特征消除(RFE)的步骤。在R中,RFE算法可以通过使用插入包的方法实现。
让我们从定义一个可用于RFE算法的控制功能开始。我们加载所需的库:
> library(caret)
> library(randomForest)
> set.seed(123)
> control <- rfeControl(functions=rfFuncs, method="cv", number=10)
在这里,我们通过rfFuncs选项指定了一个随机森林选择功能(也是Boruta中的底层算法)。
现在让我们实现RFE算法。
> rfe.train <- rfe(traindata[,2:12], traindata[,13], sizes=1:12, rfeControl=control)
我确定这是一目了然的。traindata[,2:12],指选择ID变量和自变量以外的所有列。traindata[,13],只选择因变量。它可能需要花费一些时间来运行。
我们还可以检查该算法的结果。
> rfe.train
Recursive feature selection
Outer resampling method: Cross-Validated (10 fold)
Resampling performance over subset size:
Variables Accuracy Kappa AccuracySD KappaSD Selected
1 0.8083 0.4702 0.03810 0.1157 *
2 0.8041 0.4612 0.03575 0.1099
3 0.8021 0.4569 0.04201 0.1240
4 0.7896 0.4378 0.03991 0.1249
5 0.7978 0.4577 0.04557 0.1348
6 0.7957 0.4471 0.04422 0.1315
7 0.8061 0.4754 0.04230 0.1297
8 0.8083 0.4767 0.04055 0.1203
9 0.7897 0.4362 0.05044 0.1464
10 0.7918 0.4453 0.05549 0.1564
11 0.8041 0.4751 0.04419 0.1336
The top 1 variables (out of 1):
CreditHistory
这个算法对Credit History给出了最高权重。现在我们将图表化RFE算法的结果,得到一个变量重要性的图表。
> plot(rfe.train, type=c("g", "o"), cex = 1.0, col = 1:11)
让我们来提取所选择的功能。我相信这会反映在Credit History中。
> predictors(rfe.train)
[1] "CreditHistory"
因此,我们看到递归特征消除算法在数据集的11个特征中选取了“信用记录”作为唯一重要特征。
相比传统的特征选择算法,Boruta能够返回变量重要性的更好结果,也很容易解释!我觉得一个人能接触到许多神奇的R语言包是极好的。我相信肯定会有许多其他的特征选择包。我特别想了解它们。
结束语
Boruta是一个易用的软件包,它没有许多需要调整/记忆的参数。在使用Boruta的时候不要使用有缺失值的数据集或极端值检查重要变量。它会直接报错。您可以使用此算法来处理手上的任何分类/回归问题以得出有意义的特征。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
你是否被统计学复杂的理论和晦涩的公式劝退过?别担心,“山有木兮:统计学极简入门(Python)” 将为你一一化解这些难题。课程 ...
2025-03-31在电商、零售、甚至内容付费业务中,你真的了解你的客户吗? 有些客户下了一两次单就消失了,有些人每个月都回购,有些人曾经是 ...
2025-03-31在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的需求持续飙升。世界经济论坛发布的《未来就业报告》, ...
2025-03-28你有没有遇到过这样的情况?流量进来了,转化率却不高,辛辛苦苦拉来的用户,最后大部分都悄无声息地离开了,这时候漏斗分析就非 ...
2025-03-27TensorFlow Datasets(TFDS)是一个用于下载、管理和预处理机器学习数据集的库。它提供了易于使用的API,允许用户从现有集合中 ...
2025-03-26"不谋全局者,不足谋一域。"在数据驱动的商业时代,战略级数据分析能力已成为职场核心竞争力。《CDA二级教材:商业策略数据分析 ...
2025-03-26当你在某宝刷到【猜你喜欢】时,当抖音精准推来你的梦中情猫时,当美团外卖弹窗刚好是你想吃的火锅店…… 恭喜你,你正在被用户 ...
2025-03-26当面试官问起随机森林时,他到底在考察什么? ""请解释随机森林的原理""——这是数据分析岗位面试中的经典问题。但你可能不知道 ...
2025-03-25在数字化浪潮席卷的当下,数据俨然成为企业的命脉,贯穿于业务运作的各个环节。从线上到线下,从平台的交易数据,到门店的运营 ...
2025-03-25在互联网和移动应用领域,DAU(日活跃用户数)是一个耳熟能详的指标。无论是产品经理、运营,还是数据分析师,DAU都是衡量产品 ...
2025-03-24ABtest做的好,产品优化效果差不了!可见ABtest在评估优化策略的效果方面地位还是很高的,那么如何在业务中应用ABtest? 结合企业 ...
2025-03-21在企业数据分析中,指标体系是至关重要的工具。不仅帮助企业统一数据标准、提升数据质量,还能为业务决策提供有力支持。本文将围 ...
2025-03-20解锁数据分析师高薪密码,CDA 脱产就业班助你逆袭! 在数字化浪潮中,数据驱动决策已成为企业发展的核心竞争力,数据分析人才的 ...
2025-03-19在 MySQL 数据库中,查询一张表但是不包含某个字段可以通过以下两种方法实现:使用 SELECT 子句以明确指定想要的字段,或者使 ...
2025-03-17在当今数字化时代,数据成为企业发展的关键驱动力,而用户画像作为数据分析的重要成果,改变了企业理解用户、开展业务的方式。无 ...
2025-03-172025年是智能体(AI Agent)的元年,大模型和智能体的发展比较迅猛。感觉年初的deepseek刚火没多久,这几天Manus又成为媒体头条 ...
2025-03-14以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-13以下的文章内容来源于刘静老师的专栏,如果您想阅读专栏《10大业务分析模型突破业务瓶颈》,点击下方链接 https://edu.cda.cn/go ...
2025-03-12以下的文章内容来源于柯家媛老师的专栏,如果您想阅读专栏《小白必备的数据思维课》,点击下方链接 https://edu.cda.cn/goods/sh ...
2025-03-11随着数字化转型的加速,企业积累了海量数据,如何从这些数据中挖掘有价值的信息,成为企业提升竞争力的关键。CDA认证考试体系应 ...
2025-03-10