对于KNN算法概念以及原理的简单理解-CDA数据分析师官网

对于KNN算法概念以及原理的简单理解

2020-07-09

KNN的全称是K-Nearest Neighbors，具体意思为K个最近的邻居。KNN算法可以说是机器学习算法中最简单、最基础的算法了。既能用于分类，也能用于回归。是通过测量不同特征值之间的距离来进行分类。

KNN的基本思路是：如果一个样本在特征空间中的k(K通常是不大于20的整数)个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

根据上图，绿色圆要被认为是红色三角形还是蓝色四方形?如果K=3.由于红色三角形所占比例为2/3.绿色圆就归属于红色三角形，如果K=5.则蓝色四方形比例为3/5.绿色圆归属于蓝色四方形类。

一。KNN算法的核心要素：

(1)K值的选择：K是超参(KNN算法的结果很大程度取决于K的选择)，K值过小容易导致过拟合(比如噪音点的数据会对结果造成影响)，K值过大(训练误差增大，随之模型变得简单)容易导致欠拟合。

(2)距离的度量：采用欧式距离或曼哈顿距离

(3)决策规则：在分类模型中，主要使用多数表决法或者加权多数表决法;

在回归模型中，主要使用平均值法或者加权平均值法。(基于距离远近进行加权，，距离越近的样本权重越大.)

二。KNN算法的优缺点：

KNN算法优点

1.简单易用，相比起其他算法，KNN算法对于数学基础要求不高，算是比较简洁明了的算法。

2.KNN是一种非参的（建立的模型结构是根据数据来决定的），惰性(没有明确的训练数据的过程的算法模型),模型训练时间非常快.

3.预测效果好。

4.对异常值不敏感

KNN算法缺点

1.会存储所有训练数据，对内存要求较高;

2.预测阶段速度可能很慢

3.对不相关的功能和数据规模敏感

CDA数据分析师考试相关入口一览（建议收藏）：

▷ 想报名CDA认证考试，点击>>> “CDA报名” 了解CDA考试详情；

▷ 想加入CDA考试题库，点击>>> “CDA题库” 了解CDA考试详情；

▷ 想学习CDA考试教材，点击>>> “CDA教材” 了解CDA考试详情；

▷ 想查询CDA考试成绩，点击>>> “CDA成绩” 了解CDA考试详情；

▷ 想了解CDA考试含金量，点击>>> “CDA含金量” 了解CDA考试详情；

▷ 想获取CDA考试时间/费用/条件/大纲/通过率，点击 >>>“CDA考试官网” 了解CDA考试详情；

KNN 特征特征空间过拟合欠拟合机器学习

数据分析咨询请扫描二维码

上一篇过拟合(over-fitting)出现的原因及相应的解决方法

下一篇这3种数据标准化方法，你知道吗？

对于KNN算法概念以及原理的简单理解

CDA考试动态

CDA报考指南

热门栏目

最新资讯

数据分析师的工作内容是什么

数据分析师必须掌握的技能有哪些

数据分析入门难吗

数据分析能干啥

数据分析行业的前景

数据分析的常用方法

什么是企业数字化转型

女生做数据分析师最好去哪个行业

大数据技术专业学什么

数据分析师教程《Python数据分析极简入门》第2节 3 ...

什么行业越老越吃香

利用python进行数据分析

大数据与会计专业主要学什么

成为数据分析师需要哪些技能

python可以做数据分析吗

数据分析师的日常工作有哪些？

数据分析五种方法

数字化转型是什么意思

未来发展前景好的十大行业

统计学就业方向及前景