如何清晰的理解Z-Score这种数据标准化的处理方法？

2020-07-10

Z-Score是数据标准化处理的一种常用方法，通过Z-Score，可以将不同量级的数据转化为统一量度的Z-Score分值，并进行比较。 (1)Z-score定义 根据图可以看出，Z-score的数据分布满足“正态分布”(N(0.1)) ...

什么是脏数据？怎样用箱型图分析异常值？终于有人讲明白了

2020-07-13

作者：张良均 谭立云 刘名军 江建明 来源：大数据DT(ID：hzdashuju) 内容摘编自《Python数据分析与挖掘实战》(第2版) 导读：数据质量分析是数据挖掘中数据准备过程的重要一环，是数据预处理的前提，也是 ...

这3种数据标准化方法，你知道吗？

2020-07-09

数据标准化(normalization)是一个常用的数据预处理操作，就是对原始各项指标数据按比例进行缩放，将数据的单位限制去除，转化为无规模、无量纲的纯数值，减少规模、特征、分布差异等对模型的影响，以便于不同单位 ...

假设检验应该遵循什么样的步骤？它的方法有哪些？

2020-07-07

假设检验是根据一定的假设条件，由样本推断总体的一种方法。 假设检验问题是统计推断中的一类重要问题，在总体的分布函数完全未知或只知其形式，不知其参数的情况，为了推断总体的某些未知特性，提出某些关于总 ...

朴素贝叶斯算法的简单理解和介绍

2020-07-01

贝叶斯分类是一类分类算法的总称，这类算法都是以贝叶斯定理为基础，所以统称为贝叶斯分类。贝叶斯分类中最简单，同时也是常见的一种分类方法就是朴素贝叶斯分类。下面小编来简单介绍一下朴素贝叶斯分类。 一、 ...

对于T分布来源和定义的简单理解

2020-07-01

相信各位统计学的小伙伴对于T分布并不陌生，T分布，即学生T-分布(Student\'s t-distribution)，经常被应用在对呈正态分布的总体的均值进行估计。下面小编就具体来介绍一下T分布。 一、T分布的来源 简单 ...

偏态数据：何为数据的偏态分布？

2020-06-29

相信大家在一定有接触过偏态分布这一概念，在统计学偏态分布，是指统计数据峰值与平均值不相等的频率分布。根据峰值小于或大于平均值可分为正偏函数和负偏函数，其偏离的程度可用偏态系数刻画。在数据预处理过程中 ...

什么是卡方分布，有什么特征？

2020-06-24

一、卡方分布定义 卡方分布 (χ2分布)是概率论与统计学中常用的一种概率分布。k 个独立的标准正态分布变量的平方和服从自由度为k 的卡方分布。卡方分布常用于假设检验和置信区间的计算。 若k 个随机变量Z1、 ...

python知识普及：numpy基础操作

2020-06-10

Numpy基础数据结构 import numpy as np ar = np.array([[1,2,3], [3,4,6], [4,5,7]])  # 二维数组 print(ar) print(type(ar)) ar [[1 2 3] [3 4 6] [4 5 7]] array([[1, 2, 3],       ...

非参数统计检验中的假设检验是指什么？

2020-05-29

1980年代末，汉斯拉伊大学(Hansraj College)经济学荣誉毕业生的平均薪酬约为每年100万印度卢比。这一数字大大高于80年代初或90年代初毕业的人们。 他们平均水平如此之高的原因是什么呢？沙鲁克·汗是印度收入最 ...

阿特曼Z-Score模型怎么做？

2020-05-20

Z-Score，又称为再Z分数、标准分数，一个数与平均数的差再除以标准差的过程。 Z-Score能够衡量出一个分数距离平均数的相对标准距离，如果我们把每一个分数都转换成z分数，那么每一个z分数会以标准差为单位表示 ...

机器学习中的概率估计指什么？

2020-05-19

机器学习算法会涉及到大量的数学基础内容，数学好的童靴们，你们的优势来了。在机器学习中涉及到了三个数学工具，分别是线性代数、概率统计（概率估计）、最优化理论。 今天，我们来讲概率统计，在机器学习中会涉及 ...

在统计学中，什么是卡方分布?它有什么特点?

2020-05-12

什么是卡方分布呢？ 卡方分布（chi-square distribution），又名西格玛分布，统计学领域的应用学科，是统计学中的一个非常有用的著名分布。 当n个相互独立的随机变量ξ₁，ξ₂，...,ξn ，均服从标 ...

T分布是一条以0为中心左右对称的曲线吗？

2020-05-11

最近，看到一道有关T分布的试题《T分布是一条以0为中心左右对称的曲线吗？》确实，T分布是以0为中心，左右对称的一簇单峰曲线。不过，当其自由度越小，曲线的峰度越低，尾部越高，当自由度趋于无穷大时，t分布就是标 ...

统计问答解疑之偏态数据描述、重复测量、线性回归线性条件

2020-04-21

第1个问题 Q：偏态分布和率的置信区间怎么估计，如下图划红线一栏 A：置信区间越来越重要，正态的容易，那么偏态和率的95CI置信区间怎么估计呢？本公众号分别写 ...

转行还是得趁早——数据分析师职场图鉴，全方位为您梳理

2020-04-09

随着大数据和人工智能时代的到来，传统企业开始向数据化和智能化转型。由此，数据分析师相关岗位的需求量逐年递增，近两年呈现出供不应求的状况，在未来很长一段时间这种需求还将继续保持下去。作为过 ...

Python数据分析入门教程(二)：数据预处理

2020-03-27

作者 | CDA数据分析师 从菜市场买来的菜,总有一些不太好的，所以把菜买回来以后要先做一遍预处理，把那些不太好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品，拿到以后都要 ...

极具感染力的贝叶斯定理，写给数据科学专业人的你

2020-03-27

作者 | KHYATI MAHENDRU 概述 贝叶斯定理是统计学中最强大的概念之一，而贝叶斯定理也是数据科学专业人员必须知道的定理 熟悉贝叶斯定理，其工作原理及其多种多样的应 ...

Python数据分析入门教程(二)：数据预处理

2020-01-16

作者 | CDA数据分析师 从菜市场买来的菜,总有一些不太好的，所以把菜买回来以后要先做一遍预处理，把那些不太好的部分扔掉。现实中大部分的数据都类似于菜市场的菜品，拿到以后都要先做一次预处理。 ...

一文讲解机器学习算法中的共线性问题

2020-01-08

作者 | 宋老师 来源 | JSong的数据科学小站 多重共线性是使用线性回归算法时经常要面对的一个问题。在其他算法中，例如决策树和贝叶斯，前者的建模过程是逐步递进，每次拆分只有一个变量参 ...