用主成分法解决多重共线性问题

2016-05-06

用主成分法解决多重共线性问题 一、多重共线性的表现 线性回归模型中的解释变量之间由于存在精确相关关系或高度相关关系。看似相互独立的指标本质上是相同的，是可以相互代替的，但是完全共线性的情况并不多 ...

线性判别分析(Linear Discriminant Analysis, LDA）算法分析

2016-04-24

线性判别分析(Linear Discriminant Analysis, LDA）算法分析 一． LDA算法概述： 线性判别式分析(Linear Discriminant Analysis, LDA)，也叫做Fisher线性判别(Fisher Linear&nbs ...

SPSS主成分分析与因子分析之比较及实证分析

2016-04-20

SPSS主成分分析与因子分析之比较及实证分析 一、问题的提出 在科学研究或日常生活中，常常需要判断某一事物在同类事物中的好坏、优劣程度及其发展规律等问题。而影响事物的特征及其发展规律的因素（指标）是 ...

如何利用机器学习进行海量数据挖掘

2016-04-20

互联网的海量数据不可能靠人工一个个处理，只能依靠计算机批量处理。最初的做法是人为设定好一些规则，由机器来执行。但特征一多规则就很难制定，即使定下了规则也没法根据实际情况灵活变化。机器学习可以很好的解决 ...

美团实例详解机器学习如何解决问题

2016-04-06

前言：随着大数据时代的到来，机器学习成为解决问题的一种重要且关键的工具。不管是工业界还是学术界，机器学习都是一个炙手可热的方向，但是学术界和工业界对机器学习的研究各有侧重，学术界侧重于对机器学习理论的 ...

主成分分析与因子分析之比较及实证分析

2016-03-22

主成分分析与因子分析之比较及实证分析 一、问题的提出 在科学研究或日常生活中，常常需要判断某一事物在同类事物中的好坏、优劣程度及其发展规律等问题。而影响事物的特征及其发展规律的因素（指标）是多 ...

R语言中的情感分析与机器学习

2016-02-14

来源 | 雪晴数据网 利用机器学习可以很方便的做情感分析。本篇文章将介绍在R语言中如何利用机器学习方法来做情感分析。在R语言中，由Timothy P.Jurka开发的情感分析以及更一般的文本挖掘包已经 ...

文本内容分析在网络大数据中研究那些方向及问题

2016-02-05

文本内容分析在网络大数据中研究那些方向及问题 文本内容分析是实现大数据的理解与价值发现的有效手段。尝试从短文本主题建模、单词表达学习和网页排序学习3个子方向，探讨网络大数据文本内容分析的挑战和研究 ...

R语言与数据分析：主成分分析

2016-01-27

R语言与数据分析：主成分分析 作为数据分析师，有很多刚刚接触数据分析师的朋友，还不怎么了解主成分分析，看看这两篇，你就搞懂主成分分析了。 第一篇：主成份分析历史 Pearson于1901年提出，再 ...

数据挖掘：推荐系统综述以及美团推荐系统介绍

2015-12-29

数据挖掘：推荐系统综述以及美团推荐系统介绍 文 | 宿痕 来源 | 知乎 其实推荐系统前面已经讲过不少，那时候主要是放在机器学习上讲的，既然这次要系统撸一遍数据挖掘，就把推荐系统单 ...

35款好用工具，搞定信息图+可视化

2015-12-29

35款好用工具，搞定信息图+可视化 文 | GIJN STAFF  来源 | 全球深度报道网 数据可视化为新闻媒体提供了生动有效的叙事方式和包装形式，也引领架构故事的思维变革。有哪些实 ...

常用的机器学习&数据挖掘知识(点）

2015-12-20

常用的机器学习&数据挖掘知识(点） Basis(基础)： MSE(Mean Square Error 均方误差)， LMS(LeastMean Square 最小均方)， LSM(Least Square Methods 最小二乘法)， MLE(MaximumLike ...

R语言与机器学习学习笔记2（分类算法）

2015-12-17

R语言与机器学习学习笔记2（分类算法）  当实际输出与期望输出不符时，进入误差的反向传播阶段。误差通过输出层，按误差梯度下降的方式修正各层权值，向隐藏层、输入层逐层反传。周而复始的信息正向传 ...

浅谈数据处理中的相关分析

2015-11-17

浅谈数据处理中的相关分析 大数据的发展经历了从因果分析到相关分析的转变。宏观上来讲，如果两个事务存在某种统计学意义上的依赖性就称两者具有相关性。这里我们就简单聊聊各种相关分析的方法。 &nbs ...

数据挖掘算法与生活中的应用案例

2015-10-29

数据挖掘算法与生活中的应用案例 如何分辨出垃圾邮件”、“如何判断一笔交易是否属于欺诈”、“如何判断红酒的品质和档次”、“扫描王是如何做到文字识别的”、“如何判断佚名的著作是否出自某位名家之 ...

数据分析：常用的降维方法之主成分分析

2015-09-24

数据分析：常用的降维方法之主成分分析 主成分分析（Principal Component Analysis，PCA）也称主分量分析，旨在利用降维的思想，把多指标转化为少数几个综合指标。 　　在统计学中，主成分分析是一种简化数 ...

四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps

2015-04-02

四大机器学习降维算法：PCA、LDA、LLE、Laplacian Eigenmaps 引言 机器学习领域中所谓的降维就是指采用某种映射方法，将原高维空间中的数据点映射到低维度的空间中。降维的本质是学习一个映射函数 ...

美团推荐算法实践(2)_数据分析师

2015-01-23

美团推荐算法实践(2)_数据分析师 5. 实时用户行为 目前我们的业务会产生包括搜索、筛选、收藏、浏览、下单等丰富的用户行为，这些是我们进行效果优化的重要基础。我们当然希望每一个用户行为流都 ...

大数据下城市计算的典型应用_数据分析师

2014-12-12

大数据下城市计算的典型应用_数据分析师 近年来，随着感知技术和计算环境的成熟，各种大数据在城市中悄然而生。城市计算就是用城市中的大数据来解决城市本身所面临的挑战，通过对多种异构数据的整合、 ...

kd树近邻算法_数据分析师

2014-12-03

kd树近邻算法_数据分析师 kd树近邻搜索算法的改进：BBF算法     咱们顺着上一节的思路，参考统计学习方法一书上的内容，再来总结下kd树的最近邻搜索算法： 输入：以构造的kd树，目标点x； 输出 ...