机器学习决策树算法学习笔记

2017-05-16

机器学习决策树算法学习笔记 基本概念 决策树是分类算法。 数据类型：数值型和标称型。因为构造算法只适用于标称型，所以数值型数据必须离散化。 工作原理 利用香浓熵找到信息增益最大的特征，按照信息增益最大 ...

机器学习中的常见问题—损失函数

2017-03-28

机器学习中的常见问题—损失函数 一、分类算法中的损失函数 在分类算法中，损失函数通常可以表示成损失项和正则项的和，即有如下的形式： 其中，L(mi(w))为损失项，R(w)为正则项。mi的具体形式如下 ...

机器学习算法实践—K-Means算法与图像分割

2017-03-27

机器学习算法实践—K-Means算法与图像分割 一、理论准备 1.1、图像分割 图像分割是图像处理中的一种方法，图像分割是指将一幅图像分解成若干互不相交区域的集合，其实质可以看成是一种像素的聚类过程。通常使用 ...

简单易学的机器学习算法—马尔可夫链蒙特卡罗方法MCMC

2017-03-26

简单易学的机器学习算法—马尔可夫链蒙特卡罗方法MCMC 对于一般的分布的采样，在很多的编程语言中都有实现，如最基本的满足均匀分布的随机数，但是对于复杂的分布，要想对其采样，却没有实现好的函数，在这里， ...

简单易学的机器学习算法——协同过滤推荐算法(2)

2017-03-25

简单易学的机器学习算法——协同过滤推荐算法(2) 一、基于协同过滤的推荐系统     协同过滤(Collaborative Filtering)的推荐系统的原理是通过将用户和其他用户的数据进行比对来实现推荐的。比对 ...

简单易学的机器学习算法—协同过滤推荐算法(1)

2017-03-25

简单易学的机器学习算法—协同过滤推荐算法(1) 一、推荐系统的概念     推荐系统(Recommendation System, RS)，简单来说就是根据用户的日常行为，自动预测用户的喜好，为用户提供更多完善的服务 ...

简单易学的机器学习算法—线性回归(2)

2017-03-24

简单易学的机器学习算法—线性回归(2) 一、基本线性回归模型的抽象     在基本的线性回归中(可见简单易学的机器学习算法—线性回归(1))，对于一个线性回归为题，我们得到一个线性方程组： 在上 ...

简单易学的机器学习算法—线性回归(1)

2017-03-24

简单易学的机器学习算法—线性回归(1) 一、线性回归的概念     对连续型数据做出预测属于回归问题。举个简单的例子：例如我们在知道房屋面积(HouseArea)和卧室的数量(Bedrooms)的情况下要求房屋 ...

简单易学的机器学习算法—极限学习机(ELM)

2017-03-23

简单易学的机器学习算法—极限学习机(ELM) 一、极限学习机的概念     极限学习机(Extreme Learning Machine) ELM，是由黄广斌提出来的求解单隐层神经网络的算法。     ELM最大的 ...

简单易学的机器学习算法—非线性支持向量机

2017-03-21

简单易学的机器学习算法—非线性支持向量机 一、回顾 介绍了支持向量机的基本概念，线性可分支持向量机的原理以及线性支持向量机的原理，线性可分支持向量机是线性支持向量机的基础。对于线性支持向量机，选择 ...

简单易学的机器学习算法—线性支持向量机

2017-03-21

简单易学的机器学习算法—线性支持向量机 一、线性支持向量机的概念     线性支持向量机是针对线性不可分的数据集的，这样的数据集可以通过近似可分的方法实现分类。对于这样的数据集，类似 ...

用十张图解释机器学习的基本概念

2017-03-20

用十张图解释机器学习的基本概念 在解释机器学习的基本概念的时候，我发现自己总是回到有限的几幅图中。以下是我认为最有启发性的条目列表。 1. Test and training error: 为什么低训练误差并不总 ...

机器学习中的Accuracy，Precision，Recall和F1-Score

2017-03-18

机器学习中的Accuracy，Precision，Recall和F1-Score 在模式识别和信息检索领域，二分类的问题（binary classification）是常会遇到的一类问题。例如，银行的信用卡中心每天都会收到很多的信用卡申请，银行必 ...

机器学习中的kNN算法及Matlab实例

2017-03-18

机器学习中的kNN算法及Matlab实例 K最近邻(k-Nearest  Neighbor，KNN)分类算法，是一个理论上比较成熟的方法，也是最简单的机器学习算法之一。该方法的思路是：如果一个样本在特征空间中的k个最相似（即 ...

机器学习中的EM算法详解及R语言实例（2）

2017-03-18

机器学习中的EM算法详解及R语言实例（2） 我们在上一篇文章中介绍了EM算法的基本原理，如果读者对此不甚了解，建议参阅 机器学习中的EM算法详解及R语言实例（1） 4. 高斯混合模型 高斯混合模型（GMM， ...

机器学习中的EM算法详解及R语言实例（1）

2017-03-18

机器学习中的EM算法详解及R语言实例（1） 最大期望算法（EM） K均值算法非常简单，相信读者都可以轻松地理解它。但下面将要介绍的EM算法就要困难许多了，它与极大似然估计密切相关。 1 算法原理 不妨 ...

机器学习-Cross Validation交叉验证Python实现

2017-03-16

机器学习-Cross Validation交叉验证Python实现 1.原理 1.1 概念 交叉验证(cross-validation)主要用于模型训练或建模应用中，如分类预测、pcr、pls回归建模等。在给定的样本空间中，拿出大部分样本作为训练集来 ...

5个开源Python库，点亮你的机器学习之路

2017-03-14

5个开源Python库，点亮你的机器学习之路 机器学习令人兴奋，但实际操作却很困难也很复杂。它涉及到很多手动提升，如集合工作流，设置数据源，以及在内部部署与云部署的资源之间切换等。 Python 是一款强大的 ...

机器学习常用算法（LDA,CNN,LR）原理简述

2017-03-14

机器学习常用算法（LDA,CNN,LR）原理简述 1.LDA LDA是一种三层贝叶斯模型，三层分别为：文档层、主题层和词层。该模型基于如下假设： 1）整个文档集合中存在k个互相独立的主题； 2）每一个主题是词上的多项 ...

机器学习中使用的神经网络

2017-03-14

机器学习中使用的神经网络 这一小节介绍随机梯度下降法（stochastic gradient descent）在神经网络中的使用，这里首先回顾了第三讲中介绍的线性神经网络的误差曲面(error surface)，如下图所示。线性神经网络对 ...