从奇异值分解(SVD)看潜在语义索引(LSI)

2017-12-22

从奇异值分解(SVD)看潜在语义索引(LSI) 1. SVD 简介 SVD中文称为“奇异值分解”，是一种矩阵分解方法。其公式如下： 定理：设A为m*n阶复矩阵，则存在m阶矩阵U和n阶矩阵V，使得： 　　    A ...

如何成为一名优质的数据科学家

2017-09-05

如何成为一名优质的数据科学家 开随着“数据驱动”的价值越来越明显，越来越多的企事业开始组建或扩大数据分析队伍，“数据科学家”这个职位也越来越被大家关注。 ▪ “数据科学家”是不是“统计师”更 ...

R语言与点估计学习笔记（矩估计与MLE）

2017-07-22

R语言与点估计学习笔记（矩估计与MLE） 众所周知，R语言是个不错的统计软件。今天分享一下利用R语言做点估计的内容。主要有：矩估计、极大似然估计、EM算法、最小二乘估计、刀切法（Jackknife）、自助法（Boots ...

R语言与回归分析几个假设的检验

2017-07-22

R语言与回归分析几个假设的检验 一、从线性回归的假设说起 对于线性回归而言，若要求回归估计有一些良好性质比如无偏性，就需要加上一些假定条件。比如要达到估计的无偏性，我们通常需要加上高斯-马尔科夫 ...

R语言与函数估计学习笔记（样条方法）

2017-07-20

R语言与函数估计学习笔记（样条方法） 样条估计 如果函数在不同地方有不同的非线性度，或者有多个极值点，那么用多项式特别是低阶多项式来完成拟合是非常不合适的。一种解决办法是我们之前提到的近邻多项式 ...

R语言因子分析

2017-07-18

R语言因子分析 因子模型： X=μ + A*F* + ε 其中F=[(f1,f2,…,fm)]^T为公共因子向量，[ε=(ε1,ε2,…,εp)]^T为特殊因子向量，A=[(aij)]^(p×m)为因子载荷矩阵。 I.参数估计 为了建立因子模型，需要要 ...

SPSS教程:做多重线性回归,方差不齐怎么办

2017-06-20

SPSS教程:做多重线性回归,方差不齐怎么办 一、残差方差齐性判断 1. 残差方差齐性 回顾一下前面介绍过的残差方差齐性，即残差ei的大小不随预测值水平的变化而变化。我们在进行残差分析时，可以通过绘制标 ...

SPSS分析技术：非线性回归；非线性回归与曲线直线化有哪些异同点及优劣势

2017-06-05

SPSS分析技术：非线性回归；非线性回归与曲线直线化有哪些异同点及优劣势 本文介绍的非线性回归就是针对以上更为复杂的问题而提出的一个通用的模型框架，它采用迭代方法对用户设置的各种复杂曲线模型进行拟合， ...

用十张图解释机器学习的基本概念

2017-03-20

用十张图解释机器学习的基本概念 在解释机器学习的基本概念的时候，我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。 1. Test and training error: 为什么低训练误差并不总 ...

R语言解读一元线性回归模型

2017-02-26

R语言解读一元线性回归模型 R语言作为统计学一门语言，一直在小众领域闪耀着光芒。直到大数据的爆发，R语言变成了一门炙手可热的数据分析的利器。随着越来越多的工程背景的人的加入，R语言的社区在迅速扩大成长 ...

用R语言建立学生的学习表现和性格特征数据模型

2017-02-26

用R语言建立学生的学习表现和性格特征数据模型 一、项目介绍： 方法包括以下步骤 S1：将个体表现数据输入到数据库； S2：建立学习者的学习表现数据库和性格特征数据库； S3：建立学习者的学习表现 ...

R语言对回归模型进行回归诊断

2017-02-15

R语言对回归模型进行回归诊断 在R语言中，对数据进行回归建模是一件很简单的事情，一个lm()函数就可以对数据进行建模了，但是建模了之后大部分人很可能忽略了一件事情就是，对回归模型进行诊断，判断这个模型到 ...

R语言解读自回归模型

2017-02-15

R语言解读自回归模型 时间序列是金融分析中常用到的一种数据格式，自回归模型是分析时间序列数据的一种基本的方法。通过建立自回归模型，找到数据自身周期性的规律，从而帮助我们理解金融市场的发展变化。 ...

用R语言的quantreg包进行分位数回归

2017-01-25

用R语言的quantreg包进行分位数回归 什么是分位数回归 分位数回归(Quantile Regression)是计量经济学的研究前沿方向之一，它利用解释变量的多个分位数（例如四分位、十分位、百分位等）来得到被解释变量的条 ...

R语言ARIMA预测交通流量

2016-10-12

R语言ARIMA预测交通流量 交通流量预测分析研究是智能运输系统的核心研究内容之一，实例使用ARIMA（p，d，q）-差分自回归移动平均模型，AR是自回归， p为自回归项； MA为移动平均，q为移动平均项数，d为时间序 ...

十张图解释机器学习的基本概念

2016-10-05

十张图解释机器学习的基本概念 在解释机器学习的基本概念的时候，我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。 1. Test and training error: 为什么低训练误差并不总是 ...

干货 ：这7种回归分析技术 学了不后悔

2016-09-15

干货 ：这7种回归分析技术 学了不后悔 本文解释了回归分析及其优势，重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归、ElasticNet回归等七种最常用的回归技术及其关键要素， ...

【R语言进行数据挖掘】回归分析

2016-07-30

【R语言进行数据挖掘】回归分析 1、线性回归 线性回归就是使用下面的预测函数预测未来观测量： 其中，x1,x2,...,xk都是预测变量（影响预测的因素），y是需要预测的目标变量（被预测变量）。 线性 ...

R语言-回归分析笔记

2016-06-02

R语言-回归分析笔记 使用若干自变量并建立公式,以预测目标变量 目标变量是连续型的,则称其为回归分析 (1)一元线性回归分析 y=kx+b sol.lm<-lm(y~x,data) abline(sol.lm) 使模型误差的平方和 ...

SAS时间序列模型预测未来航班数量

2016-05-29

SAS时间序列模型预测未来航班数量 时间序列建模步骤： 1. 时间序列平稳性检验：如果一个时间序列的概率分布与时间无关，则成为平稳序列。 2. 时间序列平稳化和零均值化：时间序列预测模型是建立在平稳序 ...