常用的机器学习&数据挖掘知识点

2018-03-07

常用的机器学习&数据挖掘知识点 Basis(基础)： MSE(Mean Square Error 均方误差)，LMS(LeastMean Square 最小均方)，LSM(Least Square Methods 最小二乘法)，MLE(MaximumLikelihood Estimation最 ...

一些常见的特征选择方法

2018-02-25

一些常见的特征选择方法 现实中产生的特征维度可能很多，特征质量参差不齐，不仅会增加训练过程的时间，也可能会降低模型质量。因此，提取出最具代表性的一部分特征来参与训练就很重要了。 通常有特征 ...

一文读懂聚类算法

2018-01-11

一文读懂聚类算法 1. 聚类的基本概念 1.1 定义 聚类是数据挖掘中的概念，就是按照某个特定标准(如距离)把一个数据集分割成不同的类或簇，使得同一个簇内的数据对象的相似性尽可能大，同时不在同一个簇中 ...

Python环境下的8种简单线性回归算法

2018-01-05

本文中，作者讨论了 8 种在 Python 环境下进行简单线性回归计算的算法，不过没有讨论其性能的好坏，而是对比了其相对计算复杂度的度量。 GitHub 地址：https://github.com/tirthajyoti/PythonMachineLearning/b ...

数据工作的科普总结

2017-11-28

数据工作的科普总结 首先说，这是一篇关于数据工作的科普文字，是我从事数据工作三年的一个小总结，因为不时会有人咨询我一些小问题，于是我大致整理了一下，主要是说了数据工作到底都包含了什么，其中关于数据 ...

基于R语言构建的电影评分预测模型

2017-07-16

基于R语言构建的电影评分预测模型 电影评分系统是一种常见的推荐系统。现在使用R语言基于协同过滤算法来构建一个电影评分预测模型。 一，前提准备 1.R语言包：ggplot2包（绘图），recommenderlab包，resh ...

机器学习中的特征—特征选择的方法以及注意点

2017-07-04

机器学习中的特征—特征选择的方法以及注意点 关于机器学习中的特征我有话要说 在这次校园招聘的过程中，我学到了很多的东西，也纠正了我之前的算法至上的思想，尤其是面试百度的过程中，让我渐渐意识到 ...

大数据等最核心的关键技术：32个算法

2017-05-09

大数据等最核心的关键技术：32个算法 奥地利符号计算研究所（Research Institute for Symbolic Computation，简称RISC）的Christoph Koutschan博士在自己的页面上发布了一篇文章，提到他做了一个调查，参与者 ...

《数学之美》拾遗—潜在语义索引(LSI)

2017-03-25

《数学之美》拾遗—潜在语义索引(LSI) 一、潜在语义索引的提出 潜在语义索引(LSI)，又称为潜在语义分析(LSA)，是在信息检索领域提出来的一个概念。主要是在解决两类问题，一类是一词多义，如“bank”一词 ...

简单易学的机器学习算法—主成分分析(PCA)

2017-03-24

简单易学的机器学习算法—主成分分析(PCA) 一、数据降维     对于现在维数比较多的数据，我们首先需要做的就是对其进行降维操作。降维，简单来说就是说在尽量保证数据本质的前提下将数据中的维 ...

大数据挖掘:数据模型多了，应该怎么管

2016-11-24

大数据挖掘:数据模型多了，应该怎么管 没有数据分析和建模能力，肯定难以提升业务；然而，如果模型泛滥、没有得到有效的统筹管理，其提升度恐怕也非常有限，还可能制造各种混乱。为了解决这样的问题，“模型工 ...

数据模型多了，应该怎么管

2016-11-22

数据模型多了，应该怎么管 随着近年来大数据挖掘概念的兴起，数据分析建模的思想已经深入人心，于是会建模、能建模的人也就越来越多。他们可能是资深大拿，分析建模、结果解读手到擒来全搞定，但也可能是专业 ...

短文本主题建模方法

2016-11-22

短文本主题建模方法 1. 引言 许多数据分析应用都会涉及到从短文本中提取出潜在的主题，比如微博、短信、日志文件或者评论数据。一方面，提取出潜在的主题有助于下一步的分析，比如情感评分或者文本分类模型 ...

想了解机器学习？你需要知道的十个基础算法

2016-08-18

想了解机器学习？你需要知道的十个基础算法 毫无疑问，作为人工智能的子领域—机器学习在过去的几年中越来越受欢迎。由于大数据是目前科技行业最热门的趋势，基于大量的数据机器学习在提前预测和做出建议方面有 ...

在Python中实现推荐系统！

2016-06-30

现今，推荐系统被用来个性化你在网上的体验，告诉你买什么，去哪里吃，甚至是你应该和谁做朋友。人们口味各异，但通常有迹可循。人们倾向于喜欢那些与他们所喜欢的东西类似的东西，并且他们倾向于与那些亲近的人有 ...

数据挖掘：推荐系统综述以及美团推荐系统介绍

2015-12-29

数据挖掘：推荐系统综述以及美团推荐系统介绍 文 | 宿痕 来源 | 知乎 其实推荐系统前面已经讲过不少，那时候主要是放在机器学习上讲的，既然这次要系统撸一遍数据挖掘，就把推荐系统单 ...

常用的机器学习&数据挖掘知识(点）

2015-12-20

常用的机器学习&数据挖掘知识(点） Basis(基础)： MSE(Mean Square Error 均方误差)， LMS(LeastMean Square 最小均方)， LSM(Least Square Methods 最小二乘法)， MLE(MaximumLike ...

在机器学习方面使用 R + Hadoop 方案真的有那么好2

2015-05-15

在机器学习方面使用 R + Hadoop 方案真的有那么好2 第3、4步，这里虽然举了很简单的例子，但这些是在数学模型和数据模型上是最没有开发压力的，需要关心的只是资深程序员的功底了。举例说明，文本挖掘（ ...

在机器学习方面使用 R + Hadoop 方案真的有那么好

2015-05-15

在机器学习方面使用 R + Hadoop 方案真的有那么好 为什么有些公司在机器学习业务方面倾向使用 R + Hadoop 方案？ 因为他们在不懂R和Hadoop的特征应用场景的情况下，恰好抓到了一根免费，开源的稻 ...

2014到2015年蜕变：大象在跳舞，Hadoop从离线到在线

2015-04-05

2014到2015年蜕变：大象在跳舞，Hadoop从离线到在线 时代在变迁，市场在变化，周边的软硬件环境也突飞猛进般的发展，同时企业的业务需求也不断升级，从规模到成本都有较高的要求，这刺激Hadoop生态圈 ...