数据预处理和挖掘究竟该怎么做-CDA数据分析师官网

数据预处理和挖掘究竟该怎么做

2017-11-24

数据预处理和挖掘究竟该怎么做

在这个充斥着怀疑和谎言的网络世界中，数据即真相。海量的原始数据正以惊人的速度增长，其中大部分都是非结构化的，但是通过运用分析我们可以发现其中重要的规律和线索以及隐藏在数字背后的含义。今天我们将学习如何预处理数据，这是重要也最容易忽视的步骤之一，关键点如下：

预处理数据集有三步：清洗、转换和简化

深度学习可以自己从数据集中找到相关特征

PCA是常用的降维方法之一，可以通过Scikit-learn中模块操作

数据预处理的三个核心步骤是：清洗，转换，简化。

例子中的第一个数据集与音乐相关，是通过一款名为“Tag A Tune”的小游戏搜集的（玩法请自行百度）。数据集里有25,000首歌以及正确的标签。我们想以此数据集作为一个训练样本来建立一个可以区分歌曲所属标签种类的模型。

先导入Pandas来分析这个数据，通过读取CSV函数来导入数据，它将在pandas中创建一个数据框。这个数据框很容易修改，我们将它命名为newdata。将head函数中参数设置为5，可以显示数据的头5条记录。每一行都被排了序，每首歌都有一个id，每个标签的值为0或者1，代表这首歌是否有这个标签。

通过info()函数来获取关于数据的更多信息，数据大小只有38MB。每个标签都有一个简单的二元取值，幸运的是每个字段也没有空值，可以直奔第二步：数据转换。

很多标签听上去很类似，例如女歌手，女声，可以将它们统一归为一个特征”女“。我们可以为数据中的同义词创建一个二维列表，然后将它们合并到只剩第一列。对于列表中的每一组同义词，将每一特征的最大值保留下来。对于数据中的同义词，可以有效地把一组同义词合并为一列，然后删掉其他类似的词，这样可以得到更规范的特征。在数据简化过程中，我们可以删除那些不需要的信息。接下来我们可以准备模型用到的训练集和测试集。

有一点需要注意，在整个过程中我们并没有考虑哪些特征要用，哪些不用。在没有深度学习的时候，我们需要先选择合适的特征来喂一个模型。但是深度学习不需要我们再自行筛选特征了，它会根据我们放入模型的数据集，决定哪些与问题相关。在深度学习中，常说架构工程是新的特征工程。

第二个例子中的数据集是关于网络连接，网络连接要么正常，要么异常。异常连接是由于有入侵导致。我们想通过一系列特征判定网络连接正常或异常。当我们检查该数据的时候，数据中没有空值，也没有异常值。因此，可以直接跳过清理数据一步，直接进行数据转换。

数据集中数值型变量的范围差异较大，需要先将这些变量进行标准化，可以直接用Scikit-learn里面的Standard Scaler模块对数据进行标准化。标准化完毕后，接下来对数据进行简化。数据中包含很多字段，其中有相当一部分还是高度相关的。我们可以通过“降维”的方法将特征的总数减少，这样也有利于将数据在2D或3D的空间中展示，但这并不保证模型的结果将更精准，只是让我们的数据更容易理解。

一种降维的方法是PCA(Principal Component Analysis)。数据有诸多特征，缩减它们只需要三步：首先是将数据标准化，然后计算相关系数矩阵，算出特征值和特征向量后进行主成分排名。例如我们有四个特征，想通过PCA的方法将其减少至两个，一共5个步骤：

将数据标准化

计算协方差矩阵

特征分解（Eigen decomposition）

构成新投影矩阵(Projection Matrix)

通过这个矩阵来对原来数据进行转换

许多入门教程在导入数据时只教如何导入预处理过的数据，例如手写体数字或者电影评分数据，用一行代码就能搞定，但实际操作没那么简单。遇到实际问题，都需要先找到正确的数据集，最终预测的结论依赖于最初导入的数据。所谓：种瓜得瓜，种豆得豆。

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

特征深度学习降维 PCA 字段数据标准化特征向量特征工程

数据分析咨询请扫描二维码

上一篇Excel-漏斗图分析（差异分析）

下一篇大数据分析工程师薪资水平

数据预处理和挖掘究竟该怎么做

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析常用工具和方法

数据挖掘在客户行为分析中的作用

如何进行数据挖掘分析

企业提高运营效率的技巧

Python 适合初学者学习吗

金融数字化在中小企业中的应用

中小企业数字化转型策略

如何选择合适的数据分析方法

数据分析师的核心能力有哪些

数据挖掘与分析的基本步骤解析

如何提升商务数据分析师的工作效率 ...

数据挖掘在商业中的重要性

数据分析可视化的应用场景

如何使用Python进行数据分析

数据分析师需要掌握的工具

业务分析师需要掌握的技能

CDA中科院城市环境研究所（厦门）内训圆满成功 ...

常见的数据分析方法及其应用

数据分析的基本步骤是什么

如何成为一名优秀的业务分析师