一、总则
CDA(Certified Data Analyst),即“CDA数据分析师”,是在数字经济大背景和人工智能时代趋势下,面向全行业的资格认证,旨在提升用户数字技能,助力企业数字化转型,推动行业数字化发展。「CDA人才考核标准」是面向全行业数据相关岗位的一套科学化、专业化、国际化的人才技能准则,CDA考试大纲规定并明确了数据分析师认证考试的具体范围、内容和知识点,考生可按照大纲要求进行相关知识的学习,获取技能,成为专业人才。
二、考试形式与试卷结构
考试方式:一年四届 (3、6、9、12月的最后一个周六),线下统考,上机答题。
考试题型:客观选择题(单选60题+多选30题+内容相关10题)
案例实操题(1题)
考试时间:90分钟(客观选择题),120分钟(案例实操题),共210分钟
考试成绩:分为A、B、C、D四个层次,A、B、C为通过考试,D为不通过
考试要求:客观选择题为闭卷上机答题,无需携带计算器及其他考试无关用品。
案例实操题考生须自行携带电脑操作(安装好带有数据挖掘功能的软件如:PYTHON、SQL、SPSS
MODELER、R、SAS、WEKA等,进行案例操作分析。案例数据将统一提供CSV文件)。
三、知识要求
针对不同知识,掌握程度的要求分为【领会】、【熟知】、【应用】三个级别,考生应按照不同知识要求进行学习。
1.领会:考生能够了解规定的知识点,并能够了解规定知识点的内涵与外延,了解其内容要点之间的区别与联系,并能做出正确的阐述、解释和说明。
2.熟知:考生须掌握知识的要点,并能够正确理解和记忆相关理论方法,能够根据不同要求,做出逻辑严密的解释、说明和阐述。此部分为考试的重点部分。
3.应用:考生须学会将知识点落地实践,并能够结合相关工具进行商业应用,能够根据具体要求,给出问题的具体实施流程和策略。
四、考试科目
PART 1 数据挖掘概论(占比15%)
a.数据挖掘概要(3%)
b.数据挖掘方法论(3%)
c.基础数据挖掘技术(4%)
d.进阶数据挖掘技术(5%)
PART 2 高级数据处理与特征工程(占比25%)
a.高级数据处理(5%)
b.特征工程概要(2%)
c.特征建构(3%)
d.特征选择(5%)
e.特征转换(5%)
f.特征学习(5%)
PART 3 自然语言处理与文本分析(占比20%)
a.自然语言处理概要(占比2%)
b.分词与词性标注(占比4%)
c.文本挖掘概要(占比2%)
d.关键词提取(占比4%)
e.文本非结构数据转结构(占比8%)
PART 4 机器学习算法(占比40%)
a.朴素贝叶斯(4%)
b.决策树(分类树及回归树)(5%)
c.神经网络与深度学习(5%)
d.支持向量机(4%)
e.集成方法(5%)
f.聚类分析(5%)
g.关联规则(4%)
h.序列模式(3%)
i.模型评估(5%)
PART 5 机器学习实战
(本部分内容考查方式为案例实操,不计入客观选择题占比。)
a.自动机器学习
b.类别不平衡问题
c.半监督学习
d.模型优化
五、科目内容
【领会】
数据挖掘在政府部门及互联网、金融、零售、医药等行业的应用
【熟知】
【应用】
【熟知】
【应用】
【领会】
可视化技术(能使用相关工具根据业务问题做出可视化数据报告)
【熟知】
案例为本的学习(Case-based Learning):
KNN(K-Nearest Neighbor)原理
数据的准备
样本点间距离的计算(Manhattan Distance、City-Block Distance、Euclidean Distance)
【应用】
运用
数据挖掘中的
KNN算法进行分类预测、数字预测及内容推荐。建模的过程需考虑将数据进行适当的转换以获得更优的分析结果。
【熟知】
【领会】
数据过滤(理解如何通过
数据过滤的方式,建立区隔化模型,以提升模型的预测效果)
内/外部数据的扩充方法
【熟知】
缺失值的高级填补技术,包括
KNN填补、XG
Boosting填补
高级
数据转换技术,包括数据泛化(Generalization)、数据趋势离散化(Trend Discretization)
【应用】
2、特征工程概要
【领会】
【熟知】
【领会】
【熟知】
【应用】
【熟知】
无效变量(不相关变量、多余变量)
统计为基础的
特征选择(卡方检验、ANOVA检验及T检验)
模型为基础的变量选择(
决策树、
逻辑回归、
随机森林)
高度相关
特征的选择
递归式的
特征选择
【应用】
运用
数据挖掘进行关键
特征的选择。同时,评估不同的关键
特征选择方法对模型效能的影响。
【领会】
【熟知】
非线性的
特征转换-核主成分分析(Kernel
PCA)
类间可分性最大化的
特征转换-线性
判别分析(LDA)
矩阵分解法的
特征转换-非负矩阵分解法(NMF)
对稀疏矩阵进行
特征转换-截断奇异值分解法(T
SVD)
【应用】
【熟知】
【应用】
【领会】
BOSON的中文语意平台
【熟知】
自然语言处理的研究范畴
分词
词根还原
词性标注
同义词标订
概念标订
角色标订
【运用】
运用BOSON的中文语意平台进行语言的处理
2、分词与词性标注
【领会】
词性的种类及意义
【熟知】
N-Gram及词
分词及词性标注的难点
法则式分词法
统计式分词法
词性标注
【运用】
运用中文分词及词性标注技术对多篇文章进行分词及词性标注
【领会】
信息检索技术之全文扫描
信息检索技术之签名文件
信息检索技术之逐项反转
控制字汇
关键词
索引
【熟知】
【应用】
将多篇文件及查询转为向量格式,并计算查询与文件间的相似度。
运用文本可视化技术将文件内容以文字云的方式呈现。
4、关键词提取
【熟知】
TF、DF及IDF
词性
关键词的提取方法
【应用】
对多篇文件及查询中的词,计算TF、DF、IDF及词性并提取重要的关键词。
5、文本非结构数据转结构
【熟知】
词袋模型
PCA
矩阵分解
词嵌入模型Glove
词嵌入模型Word2Vec(Skip-Gram & CBOW)
【应用】
对多篇文件进行词嵌入模型的训练及使用。
将结构化后的文件进行
文本分类、情绪分析、文本
聚类及文本摘要的应用。
【熟知】
朴素贝叶斯(独立性假设、概率的正规化、拉普拉斯变换、空值的问题)
【应用】
2、决策树(分类树及回归树)
【领会】
PRISM决策规则算法
CHAID
决策树算法(CHAID的
字段选择方式)
【熟知】
I
D3决策树算法(I
D3的
字段选择方式、如何使用
决策树来进行分类预测、
决策树与决策规则间的关系、I
D3算法的弊端)
C4.5
决策树算法,包括C4.5的
字段选择方式、C4.5的数值型
字段处理方式、C4.5的空值处理方式、C4.5的剪枝方法(预剪枝法、悲观剪枝法)
CART
决策树算法(分类树与回归树、CART分类树的
字段选择方式、CART分类树的剪枝方法)
CART回归树算法(CART回归树的
字段选择方式、如何利用模型树来提升CART回归树的效能)
【应用】
运用
数据挖掘软件建立分类树模型,解读模型结果,并评估模型效能。
运用
数据挖掘软件建立回归树模型,解读模型结果,并评估模型效能。
【领会】
【熟知】
感知机(Perceptron)及
感知机的极限
多层
感知机(Multi-Layer Perceptron)
BP
神经网络的架构方式
神经元的组成:组合函数(Combination Function)与活化函数(Activation Function)
BP
神经网络如何传递信息
修正权重值及常数项
训练模型前的数据准备(分类模型的数据准备、预测模型的数据准备)
BP
神经网络与
逻辑回归、
线性回归及非
线性回归间的关系
【应用】
【领会】
支持向量机概述
线性可分
最佳的线性分割超平面
决策边界
【熟知】
支持向量
线性
支持向量机
非线性转换
核函数(Polynomial Kernel、Gaussian Radial Basis Function、Sigmoid Kernel)
非线性
支持向量机
支持向量机与
神经网络间的关系
【应用】
5、集成方法
【领会】
集成方法概述
【熟知】
抽样技术
训练数据上的抽样方法
输入变量上的抽样方法
袋装法(
随机森林)
提升法(Adaboost、xgboost、GBDT、
LightGBM)
【应用】
运用
数据挖掘软件建立组合方法模型,解读模型结果,并评估模型效能。
【领会】
【熟知】
相似性的衡量(二元变量的相似性衡量、混合类别型变量与数值型变量的相似性衡量)
样本点间距离的计算(Manhattan Distance、City-Block Distance、Euclidean Distance)
聚类算法(Exclusive vs. Non-Exclusive (Overlapping)的
聚类算法、分层
聚类法、划分
聚类法)
分层
聚类算法(单一链结法、完全链结法、平均链结法、中心法、Ward’s 法)
划分
聚类算法(K-Means法、EM法、K-Medoids法、
神经网络SOM法、两步法)
密度
聚类算法(DBSCAN)
群数的判断(R-Squared (R2)、Semi-PARTial R-Squared、Root-Mean-Square Standard Deviation (RMSSTD)、轮廓系数(Silhouette Coefficient) )
【应用】
运用
数据挖掘软件建立
聚类模型,解读模型结果,并提供营销建议。
【领会】
【熟知】
【应用】
8、序列模式
【领会】
序列模式的概念
【熟知】
序列模式的评估指标(支持度、置信度)
AprioriAll算法(暴力法的问题、
AprioriAll算法的理论基础、候选项目组合的产生、候选项目组合的删除)
序列模式的延伸(状态移转网络)
【应用】
运用
数据挖掘软件建立序列模式模型,解读模型结果,并提供营销建议。
【熟知】
混淆矩阵(正确率(Accuracy)、查准率(Precision)、查全率(Recall)、F-指标(F-Measure))
KS图(KS Chart)
ROC图(ROC Chart)
GINI图(GINI Chart)
回应图(Response Chart)
增益图(Gain Chart)
提升图(Lift Chart)
收益图(Profit Chart)
平均平方误差(Average Squared Error)
【应用】
【领会】
【熟知】
【应用】
运用自动
机器学习技术,快速建立模型,解读模型结果,并评估模型效能。
2、类别不平衡问题
【领会】
不平衡数据定义
不平衡数据场景
传统学习方法在不平衡数据中的局限性
类别不平衡所造成的问题
【熟知】
类别不平衡问题的检测方法
过采样技术(Over-sampling)
欠采样技术(Under-sampling)
模型惩罚技术
【应用】
能运用类别不平衡的处理技术,提升模型的效能
【领会】
【熟知】
【应用】
【领会】
模型参数优化的目的
建模门槛值优化的目的
【熟知】
模型参数优化的方法
建模门槛值优化的方法
【应用】
运用模型参数优化建立更精准的
数据挖掘模型
运用建模门槛值优化建立更精准的
数据挖掘模型
六、推荐学习书目
说明:推荐学习书目中,部分书籍结合软件,考试中客观选择题部分不考查软件操作使用,案例实操部分需要考生运用相关软件进行建模分析,考生可根据自身需求选择性学习。参考书目不需全部学完,根据考纲知识点进行针对性学习即可。
[1] Jiawei Han, Micheline Kamber, Jian Pei.
数据挖掘:概念与技术(原书第3版)[M].范明,孟小峰 译,机械工业出版社,2012.(必读)
[2] 周志华.
机器学习[M].清华大学出版社,2016.(必读)
[3] Chris Albon. Python
机器学习手册:从
数据预处理到
深度学习.电子工业出版社,2019.(必读)
[4] 李博.
机器学习实践应用.人民邮电出版社,2017.(必读)
[5] 爱丽丝·郑,阿曼达·卡萨丽.精通
特征工程.人民邮电出版社,2019.(必读)
[6] 迪潘扬·萨卡尔(Dipanjan Sarkar).Python文本分析[M].机械工业出版社,2018.(必读)
[7] 经管之家.SPSS Modeler+Weka
数据挖掘从入门到实战,电子工业出版社,2019.(选读)
[8] Pang-Ning Tan, Michael Steinbach, Vipin Kumar.
数据挖掘导论(原书第2版)[M].段磊,张天庆 译,机械工业出版社,2019.(选读)
[9] 赵卫东,董亮. Python
机器学习实战案例. 清华大学出版社,2019.(选读)
[10] 约阿夫·戈尔德贝格.基于
深度学习的
自然语言处理[M].机械工业出版社,2018.(选读)
[11] 鲁伟.
深度学习笔记.北京大学出版社,2020.(选读)
[12]
数据挖掘网站:KDnuggets (https://www.kdnuggets.com/)(拓展学习)
[13]
数据挖掘网站:Kaggle (https://www.kaggle.com/)(拓展学习)
登录后下载大纲PDF
CDA数据分析师考试相关入口一览(建议收藏):
▷ 想报名CDA认证考试,点击>>>
“CDA报名”
了解CDA考试详情;
▷ 想加入CDA考试题库,点击>>> “CDA题库” 了解CDA考试详情;
▷ 想学习CDA考试教材,点击>>> “CDA教材” 了解CDA考试详情;
▷ 想查询CDA考试成绩,点击>>> “CDA成绩” 了解CDA考试详情;
▷ 想了解CDA考试含金量,点击>>> “CDA含金量” 了解CDA考试详情;
▷ 想获取CDA考试时间/费用/条件/大纲/通过率,点击 >>>“CDA考试官网” 了解CDA考试详情;