时 程

大纲内容

第1天

主题：顾客关系管理及基础数据挖掘技术

企业使用之范围：

说明企业如何利用顾客关系管理来进行营销活动

理论介绍：

顾客关系管理系统的架构及其组成元素

企业如何利用顾客关系管理系统来进行营销活动

数据挖掘技术的功能分类

数据挖掘技术的绩效增益

数据挖掘技术的产业标准

数据挖掘基本观念与实际应用解说

SAS EM & SPSS Modeler实务案例操作：

Introduction to SAS Enterprise Miner(SAS EM) & IBM SPSS Modeler

Getting Started with SAS EM 12.1 & IBM SPSS Modeler 16

Creating a EM Project, Library and Diagram

Creating a SPSS Modeler Project

第1天

第2天

主题：基础数据挖掘技术

企业使用之范围：

说明企业如何利用数据前处理技术来进行数据的重整，建置数据仓库，以做为数据挖掘之输入

理论介绍：

数据挖掘技术的流程-SEMMA vs. CRISP DM

数据前处理(Data Preprocessing)技术

Attribute Selection(字段选择)

*Data Integration(数据整合)

Data Cleansing(数据清洗):

*Wrong Value(错误值),

*Outlier(离群值),

*Missing Value(遗失值)

Attribute Enrichment(字段扩充):

*内/外部数据的扩充方法

Data Coding(数据编码):

*Data Transformation(数据转换),

*Data Reduction(数据精简),

*Record Reduction(记录精简),

*Attribute Value Reduction(域值精简),

*Attribute Reduction(字段精简)

SAS EM & SPSS Modeler实务案例操作：

Defining a Data Source

Exploring a Data Source

  * Exploring Source Data

  * Changing the Explore Window Sampling Defaults

  * Modifying and Correcting Source Data

Managing Wrong Values/Outliers/Missing Values

Transforming Inputs

Recording Categorical Inputs

第2天

第3天

主题：进阶数据挖掘技术

企业使用之范围：

说明企业如何利用关键变量发掘技术来发掘对项目目标有效之关键变量，以做为数据挖掘之输入变量

理论介绍：

训练数据与测试数据的产生方法

关键变量(Key Attributes)发掘技术

*卡方检定(Chi-square Test)

*t检定及ANOVA检定(t Test & ANOVA Test)

*利用决策树(Decision Tree)选择关键变量

SAS EM & SPSS Modeler实务案例操作：

Creating Training & Validation Dataset

Variable Selection

Using Partial Least Squares for Input Selection

Using the Decision Tree for Input Selection

第3天

主题：进阶数据挖掘技术2

企业使用之范围：

说明如何利用分类技术之决策树来建立交叉销售(Cross-Selling)模型，以提升公司获利

理论介绍：

分类之决策树(Decision Tree)

SAS EM & SPSS Modeler实务案例操作：

Constructing a Decision Tree Model

Optimizing the Complexity of Decision Trees

Assessing a Decision Tree

Understanding Additional Plots & Tables

Automatic Tree Growth

第3天

主题：进阶数据挖掘技术3

企业使用之范围：

说明企业如何利用分类技术之神经网络、支持向量机及分类多模型整合来建立信用评分(Credit Scoring)模型，以降低公司损失

理论介绍：

分类之神经网络(Neural Network)

分类之支持向量机(Support Vector Machine)

分类多模型整合(Ensemble)之装袋(Bagging)、增强(Boosting)学习

SAS EM &SPSS Modeler实务案例操作：

Training a Neural Network

Selecting Neural Network Inputs

Increasing Network Flexibility

Using the AutoNeural Tool

Constructing a Support Vector Machine

Constructing Ensemble Models by Using Bagging and Boosting Techniques

Model Comparisons

第4天

主题：进阶数据挖掘技术4

企业使用之范围：

说明企业如何利用模型评估技术来评估模型的优劣，以作为采用适当模型的准则

理论介绍：

模型评估(Model Assessment)技术

SAS EM & SPSS Modeler实务案例操作：

Model Fit Statistics:

* Comparing Models with Summary Statistics

Statistical Graph:

* Comparing Models with ROC Charts

* Comparing Models with Score Rankings Plots

* Adjusting for Separate Sampling

Profit Matrix:

* Evaluating Model Profit

* Viewing Additional Assessments

* Optimizing with Profit

Internally Scored Data Sets:

  * Creating a Score Data Source

  * Scoring with the Score Tool

  * Exporting a Scored Table

Score Code Modules:

  * Creating a SAS Score Code Module

  * Creating Other Score Code Modules

第4天

主题：进阶数据挖掘技术5

企业使用之范围：

说明企业如何利用预测(Prediction)技术之回归树及类神经网络来建立数值预测模型-如预测客户之年收入，以利公司设计营销活动

理论介绍：

回归树(Regression Tree)

类神经网络(Neural Network)-非线性回归

SAS EM & SPSS Modeler实务案例操作：

Review and Set the Decision Tree Node

Review and Set the Neural Network Node

第4天

主题：进阶数据挖掘技术6

企业使用之范围：

说明企业如何利用关联及序列分析技术来建立交叉销售(Cross-Selling)及提升销售(Up-Selling)模型，以提升公司获利

理论介绍：

关联分析(Association Analysis)

序列分析(Sequence Analysis)

SAS EM & SPSS Modeler案例案例操作：

Consolidating Categorical Inputs

Market Basket Analysis

Sequence Analysis

第5天

环境搭建与数据转换

主体：数据分析环境搭建

1、Python程序安装

2、MySQL数据库安装、配置、建库；

主题：Python与其它软件之间数据转换

1、Python内部的数据存储类型

2、Python与CSV格式文件；

3、Python与EXCEL格式文件；

4、Python与MySQL；

5、Python与ODBC；

主题：SQL编程与MySQL数据库使用

Mysql SQL编程与Python SQL编程

主题：用R作统计

两变量相关检验（两样本T检验、方差分析、卡方检验、相关检验）；

主成分与因子分析；

决策树

数据挖据完整流程案例

——Python编程构造银行信用风险模型

第6天

主题：信用风险建模简介

银行信用风险监管体系与信用风险内部模型

主题：单变量检验与数据清洗

缺失值检验与处理方法

异常值检验与处理方法

解释变量粗筛

双变量关系检验法

数据分箱

主题：连续变量压缩技术

变量聚类

分类变量压缩技术

似完整分类数据问题

WOE方法

主题：逻辑回归建模技术

模型选择：逐步法、全子集法

根据经验Logit曲线进行连续变量转换

主题：编程模型评估技术

ROC曲线

K-S曲线