数据分析师知识点汇总（主成分分析）

2021-02-19

一、具体方法 1.主成分分析的具体方法 主成分分析是一类常用的针对连续变量的降维方法，选取能够最大化解释数据变异的成分，将数据从高维降到低维，同时 保证各个维度之间正交。 对变量的协方差矩阵或相关系 ...

CDA LEVEL I 数据分析认证考试模拟题库（十三）

2024-08-14

不过，在出题前，要公布下上一期56-60题的答案，大家一起来看！ 57、B 59、D 你答对了吗？ 多选题 A.round C.abs 62.现在通过参数估计得到一个一元线性回归模型为y=3x+4。那么在回归系数检验 ...

深度学习损失函数

2018-08-24

深度学习损失函数 在利用深度学习模型解决有监督问题时，比如分类、回归、去噪等，我们一般的思路如下： 1、信息流forward propagation，直到输出端； 2、定义损失函数L(x, y | theta)； ...

sas评分卡之没有因变量我也能建模

2018-08-23

sas评分卡之没有因变量我也能建模 在建模中，并不是什么时候都有因变量的，那么在没有因变量的情况下，我们应该怎么无耻的还要建模呢，你会说聚类啊，无监督嘛，关联规则嘛。但是我要说的我有ahp(层次分析法) ...

用机器学习检测异常点击流

2018-08-18

用机器学习检测异常点击流 本文内容是我学习ML时做的一个练手项目，描述应用机器学习的一般步骤。该项目的目标是从点击流数据中找出恶意用户的请求。点击流数据长下图这样子，包括请求时间、IP、平台等特征： ...

数据挖掘算法：PageRank

2018-08-06

数据挖掘算法：PageRank 1. 引言 PageRank是Sergey Brin与Larry Page于1998年在WWW7会议上提出来的，用来解决链接分析中网页排名的问题。在衡量一个网页的排名，直觉告诉我们： 1、当一个网页被更多网页 ...

线性代数与数值方法--矩阵分解

2018-03-26

线性代数与数值方法--矩阵分解 矩阵 正交：正交最早出现于三维空间中的向量分析。 在三维向量空间中， 两个向量的内积如果是零， 那么就说这两个向量是正交的。 正交矩阵：正交矩阵是实数特殊化的酉矩阵 ...

基于随机梯度下降的矩阵分解推荐算法

2018-03-24

基于随机梯度下降的矩阵分解推荐算法 SVD是矩阵分解常用的方法，其原理为：矩阵M可以写成矩阵A、B与C相乘得到，而B可以与A或者C合并，就变成了两个元素M1与M2的矩阵相乘可以得到M。 矩阵分解推荐的思想就是基于 ...

机器学习中的线性代数

2018-03-22

机器学习中的线性代数 线性代数作为数学中的一个重要的分支，广发应用在科学与工程中。掌握好线性代数对于理解和从事机器学习算法相关的工作是很有必要的，尤其是对于深度学习而言。因此，在开始介绍深度学习之 ...

R语言数据对象与运算

2018-03-18

R语言数据对象与运算 R语言数据对象与运算 笔记整理 2.1 数据对象及类型 R语言创建和控制的实体被称为对象（object） ls()命令来查看当前系统里的数据对象 R对象的名称必须以一个英文字母打头，并 ...

R语言定义多维数组

2018-03-14

R语言定义多维数组 数组有一个特征属性叫做维数向量（dim属性），维数向量是一个元素取正整数值的向量 ，其长度是数组的维数，比如维数向量有两个元素时数组为二维数组（矩阵）。维数向量的 每一个元素指定了该 ...

Python使用三种方法实现PCA算法

2018-01-23

Python使用三种方法实现PCA算法 主成分分析，即Principal Component Analysis（PCA），是多元统计中的重要内容，也广泛应用于机器学习和其它领域。它的主要作用是对高维数据进行降维。PCA把原先的n个特征用数 ...

数据挖掘十大经典算法之K最近邻算法

2018-01-02

数据挖掘十大经典算法之K最近邻算法 k-最近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。     基于实例的学习     1.已知一系列的训练样例，很多学习 ...

从奇异值分解(SVD)看潜在语义索引(LSI)

2017-12-22

从奇异值分解(SVD)看潜在语义索引(LSI) 1. SVD 简介 SVD中文称为“奇异值分解”，是一种矩阵分解方法。其公式如下： 定理：设A为m*n阶复矩阵，则存在m阶矩阵U和n阶矩阵V，使得： 　　    A ...

文本分类和聚类有什么区别

2017-12-10

文本分类和聚类有什么区别 简单点说：分类是将一篇文章或文本自动识别出来，按照已经定义好的类别进行匹配，确定。聚类就是将一组的文章或文本信息进行相似性的比较，将比较相似的文章或文本信息归为同一组的技 ...

如何实现降维处理(R语言)

2017-12-07

如何实现降维处理(R语言) 现实世界中数据一般都是复杂和高维的，比如描述一个人，有姓名、年龄、性别、受教育程度、收入、地址、电话等等几十种属性，如此多的属性对于数据分析是一个严重的挑战，除了极大增加 ...

数据科学的基本内容

2017-10-31

数据科学的基本内容 什么是数据科学?它和已有的信息科学、统计学、机器学习等学科有什么不同?作为一门新兴的学科，数据科学依赖两个因素：一是数据的广泛性和多样性;二是数据研究的共性。现代社会的各行各业都 ...

R语言中样本平衡的几种方法

2017-06-07

R语言中样本平衡的几种方法 在对不平衡的分类数据集进行建模时，机器学习算法可能并不稳定，其预测结果甚至可能是有偏的，而预测精度此时也变得带有误导性。在不平衡的数据中，任一算法都没法从样本量少的类中 ...

机器学习需要哪些数学基础

2017-05-20

机器学习需要哪些数学基础 过去的几个月中，有几人联系我，诉说他们对尝试进入数据科学的世界，以及用机器学习的技术去探索统计规律并构建无可挑剔的数据驱动型产品的热忱。然而，我发现一些人实际上缺乏必要的 ...

一行R代码来实现繁琐的可视化

2017-05-13

一行R代码来实现繁琐的可视化 ggfortify 是一个简单易用的R软件包，它可以仅仅使用一行代码来对许多受欢迎的R软件包结果进行二维可视化，这让统计学家以及数据科学家省去了许多繁琐和重复的过程，不用对结果进 ...