sas批量删除重复超过90%的变量
22年前的今天我的妈咪把我带来这个世界,费尽心思把我养到这么大,我就是4月份出生的大白羊,我的生日愿望呢,就是想有个大神在留言板块教我一个怎么识别组合变量更好解释因变量的方法,譬如我怎么知道年龄和婚姻两个变量在一起的效果比单个的效果还要好,但是年龄和性别组合效果并没有那么好。跪求大神实现我的生日愿望吧。
今天还是没有要更新信用评分的内容,更新的内容是关于变量处理中的问题,之前的文章中有过变量处理的章节,这篇文章是对那篇的补充,之前讲过我会把缺失值达到70%的变量删掉。我漏掉一个问题就是变量的重复值达到90%也应该删掉,譬如一个变量有5中情况:ABCDE,但是A的情况的占比就达到90%的时候,除非这个变量剩下的10%全部都是逾期的,不然这样的变量是没有意义,所以今天分享的代码就是批量找出这些变量并在原数据集中删掉。这次的代码也是陈先生提供的。我在陈先生代码的基础上做了一些改动并调试了。
话不多说,上代码:
%macrovar_namelist(data=,tarvar=,dsor=);
%letlib=%upcase(%scan(&data.,1,'.'));
%letdname=%upcase(%scan(&data.,2,'.'));
%globalvar_list var_num;
proc sql ;
create table &dsor.as
select name
from sashelp.VCOLUMN
where left(libname)="&lib."and left(memname)="&dname."and lowcase(name)^=lowcase("&tarvar.");
quit;
%mend;
%macrotest(data,tarvar,data_result,data_drop,rate);
proc datasets lib=work;
delete base;
run;
data base;
length variable$100.;
run;
%var_namelist(data=&data.,/*coltype=num,*/tarvar=&tarvar.,dsor=aa);
data _null_;
set aa;
call symput(compress("var"||left(_n_)),compress(name));
call symput(compress("n"),compress(_n_));
run;
%put&n.;
%doi=1%to&n.;
%put&&var&i.;
proc freq data=&data.(keep=&&var&i.) noprint;
tables &&var&i./out=PERCENT_&&var&i.;
/*(keep=PERCENT)*/
run;
proc sql;
select max(PERCENT) into: max_percent from
PERCENT_&&var&i.;
quit;
%if&max_percent>&rate.%then%do;
data next;
variable="&&var&i.";
run;
proc append base=base data=next force;
run;
%end;
proc datasets lib=work noprint;
delete PERCENT_&&var&i.;
run;
%end;
data base;
set base(where=(variable^=''));
run;
proc transpose data=base out=base1(drop=_name_);
id variable;
run;
/*这步是删除单一变量超过90的重复值的缺失值的可以按照这个写下*/
proc sql noprint;
select name into :var_list separated by' '
from sashelp.VCOLUMN
where upcase(left(libname))="WORK"and UPCASE(left(memname))="BASE1";
quit;
%PUT&var_num1.;
data &data_result.;
set &data.;
drop &var_list.;
run;
data &data_drop.;
set &data.;
keep &tarvar.&var_list.;
run;
%mend;
第一宏不用管,那是为了嵌套在第二个宏里面的。那么接下来介绍下这个宏怎么用。
test(data,tarvar,data_result,data_drop,rate);
data:填入的原数据集。
Tarvar:填入你不想要统计的变量。可以是你的主键也可以是你的因变量,随便你。像我填入的是因变量。
data_result:结果数据集,你的结果数据想叫什么就填什么把。
Data_drop:删掉的变量存放的数据集,给你检查一下有没有错删变量。
Rate:填入的是你觉得重复值达到多少的时候就删掉。我建议的80-90。
下周分享的一个变量人工分段的一个代码。这个代码是我当下除了最优分段之外觉得好用的代码,因为最优分段需要做异常值的检查。有时候异常值检查不好,容易分组的分的不好。这是我个人的经验哈,对于变量分段我之前很崇尚自动分组,我觉得那么多的变量,我一个一个的去细看这无非浪费我的时间,但是我失败的经验告诉我,模型的过程每一步的都应该细致并且仔细,该人工的时候还是要人工,如果全部可以全自动化,那么只要自动运行代码就可以了,谁都可以建模了。
数据分析咨询请扫描二维码
若不方便扫码,搜微信号:CDAshujufenxi
在当今这个数据驱动的时代,几乎每一个业务决策都离不开对数据的深入分析。而其中,指标波动归因分析更是至关重要的一环。无论是 ...
2025-02-18当数据开始说谎:那些年我们交过的学费 你有没有经历过这样的场景?熬了三个通宵做的数据分析报告,在会议上被老板一句"这数据靠 ...
2025-02-17数据分析作为一门跨学科领域,融合了统计学、编程、业务理解和可视化技术。无论是初学者还是有一定经验的从业者,系统化的学习路 ...
2025-02-17挖掘用户价值本质是让企业从‘赚今天的钱’升级为‘赚未来的钱’,同时让用户从‘被推销’变为‘被满足’。询问deepseek关于挖 ...
2025-02-17近来deepseek爆火,看看deepseek能否帮我们快速实现数据看板实时更新。 可以看出这对不知道怎么动手的小白来说是相当友好的, ...
2025-02-14一秒精通 Deepseek,不用找教程,不用买资料,更不用报一堆垃圾课程,所有这么去做的,都是舍近求远,因为你忽略了 deepseek 的 ...
2025-02-12自学 Python 的关键在于高效规划 + 实践驱动。以下是一份适合零基础快速入门的自学路径,结合资源推荐和实用技巧: 一、快速入 ...
2025-02-12“我们的利润率上升了,但销售额却没变,这是为什么?” “某个业务的市场份额在下滑,到底是什么原因?” “公司整体业绩 ...
2025-02-08活动介绍 为了助力大家在数据分析领域不断精进技能,我们特别举办本期打卡活动。在这里,你可以充分利用碎片化时间在线学习,让 ...
2025-02-071、闺女,醒醒,媒人把相亲的带来了。 我。。。。。。。 2、前年春节相亲相了40个, 去年春节相亲50个, 祖宗,今年你想相多少个 ...
2025-02-06在数据科学的广阔领域中,统计分析与数据挖掘占据了重要位置。尽管它们常常被视为有关联的领域,但两者在理论基础、目标、方法及 ...
2025-02-05在数据分析的世界里,“对比”是一种简单且有效的方法。这就像两个女孩子穿同一款式的衣服,效果不一样。 很多人都听过“货比三 ...
2025-02-05当我们只有非常少量的已标记数据,同时有大量未标记数据点时,可以使用半监督学习算法来处理。在sklearn中,基于图算法的半监督 ...
2025-02-05考虑一种棘手的情况:训练数据中大部分样本没有标签。此时,我们可以考虑使用半监督学习方法来处理。半监督学习能够利用这些额 ...
2025-02-04一、数学函数 1、取整 =INT(数字) 2、求余数 =MOD(除数,被除数) 3、四舍五入 =ROUND(数字,保留小数位数) 4、取绝对值 =AB ...
2025-02-03作者:CDA持证人 余治国 一般各平台出薪资报告,都会哀嚎遍野。举个例子,去年某招聘平台发布《中国女性职场现状调查报告》, ...
2025-02-02真正的数据分析大神是什么样的呢?有人认为他们能轻松驾驭各种分析工具,能够从海量数据中找到潜在关联,或者一眼识别报告中的数 ...
2025-02-01现今社会,“转行”似乎成无数职场人无法回避的话题。但行业就像座围城:外行人看光鲜,内行人看心酸。数据分析这个行业,近几年 ...
2025-01-31本人基本情况: 学校及专业:厦门大学经济学院应用统计 实习经历:快手数据分析、字节数据分析、百度数据分析 Offer情况:北京 ...
2025-01-3001专家简介 徐杨老师,CDA数据科学研究院教研副总监,主要负责CDA认证项目以及机器学习/人工智能类课程的研发与授课,负责过中 ...
2025-01-29