热线电话：13121318867

登录
首页精彩阅读如何做好数据预处理（二）
如何做好数据预处理（二）
2019-04-10
收藏


在上一篇文章中我们提到的数据预处理的数据清洗，数据清洗就是对于肮脏数据的清除，而肮脏数据主要有异常值和缺失值，我们在进行数据预处理的时候不但要注意数据的清洗，还需要注意数据的集成、数据变换、数据规范的内容，只有这样，我们才能够为下一步工作做好铺垫。


首先说说数据集成吧，所谓数据集成就是将多个数据源合并放到一个数据存储中，当然如果所分析的数据原本就在一个数据存储里就不需要数据的集成了。一般来说，数据集成的实现是将两个数据框以关键字为依据，在进行数据集成时可能会出现几种情况，分别是一个数据代表着两个不同的意思，两个不同的数据代表一个意思，数据的重复出现，这三个数据使得数据分析工作变得十分繁琐，从而影响数据分析的准确性，这就需要我们对于数据进行集成的工作。


接着给大家说说数据的变换，数据的变换就是把数据转化成适当的形式，来满足软件或分析理论的需要。一般我们可以通过简单的函数变换进行数据变换，什么是简单的函数变换呢？简单函数变换用来将不具有正态分布的数据变成有正态分布的数据。


最后给大家说说数据的规范化，数据的规范化就是剔除掉变量在某种标准的影响，这就需要我们对于数据的最小最大规范化。什么是最小最大规范化呢？也叫离差标准化，对数据进行线性变换，将其范围变成[0,1]。当然我们也可以使用零均值规范化，零均值规范化也叫标准差标准化，处理后的数据均值等于0，标准差为1。如果这两总方法不合适的话，我们也可以使用小数定标规范化，就是移动属性值的小数位数，将属性值映射到区间内即可。通过数据的规范化，我们可以降低降低无效错误的数据对建模的影响、缩减时间、降低存储数据的空间。这样就能够减少数据量，同时也能够方便参数线性回归和多元回归。并且通过对数据属性的规范发现最小的属性以及确定属性概率分布。


综上所述，对于数据分析中的数据预处理的具体内容就是小编为大家提到的数据预处理的具体步骤，分别包括数据清洗、数据的集成、数据变换、数据的规范，希望这篇文章能够给大家带来帮助，最后感谢大家的阅读。


CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>>   “CDA报名” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

数据清洗 数据分析 正态分布 线性回归

数据分析咨询请扫描二维码

若不方便扫码，搜微信号：CDAshujufenxi

上一篇如何做好数据预处理（一）
下一篇教你用数据仓库优化数据分析（上）
CDA考试动态
CDA报考指南
热门栏目
最新资讯
更多
Copyright © 2015-present 北京国富如荷网络科技有限公司 All Rights Reserved.
京ICP备11001960号-9   京公网安备 11010802034615号   经营许可证编号：京B2-20210330
客服在线
立即咨询