无监督的算法在训练的时候只需要特征矩阵X，不需要标签。无监督学习的代表算法有聚类算法、降维算法

聚类分析仅根据在数据中发现的描述对象及其关系的信息，将数据对象分组。其目标是，组内的对象相互之间是相似的（相关的），而不同组中的 对象是不同的（不相关的）。组内的相似性（同质性）越大，组间差别越大，聚类就越好。

Kmeans计算过程：

创建k个点作为初始质心（通常是随机选择）

当任意一个点的簇分配结果发生改变时：

对数据集中的每个点：

对每个质心：

计算质心与数据点之间的距离

将数据点分配到距其最近的簇

对每个簇，计算簇中所有点的均值并将均值作为新的质心

直到簇不再发生变化或者达到最大迭代次数

对于一个簇来说，所有样本点到质心得距离之和越小，我们就认为这个簇中的样本越相似，簇内差异就越小。⽽而距离的衡量方法有多种，令x 表示簇中的⼀一个样本点， μ表示该簇中的质心，n表示每个样本点中的特征数目，i表示组成点 的每个特征，则该样本点到质心的距离可以由以下距离来度量。

轮廓系数是最常用的聚类算法的评价指标，它是对每个样本来定义的，它能够同时衡量：

（1）样本与其自身所在的簇中的其他样本的相似度a，等于样本与同一簇中所有其他点之间的平均距离

（2）样本与其他簇中的样本的相似度b，等于样本与下一个最近的簇中的所有点之间的平均距离

根据聚类的要求“簇内差异小，簇外差异大”，我们希望b永远大于a，并且大的越多越好

单个样本的轮廓系数计算为：

很容易理解轮廓系数范围是（-1,1），其中值越接近1表示样本与自己所在的簇中的样本很相似，并且与其他簇中的样本不相似，当样本点与簇外的样本更相似的时候，轮廓系数就为负。当轮廓系数为0时，则代表两个簇中的样本相似度一致，两个簇本应该是一个簇。

如果簇中的大多数样本具有比较高的轮廓系数，则簇会有较高的总轮廓系数，则整个数据集的平均轮廓系数越高，则聚类是合适的。如果许多样本点具有低轮廓系数甚至负值，则聚类是不合适的，聚类的超参数K可能设定得太大或太小。

在sklearn中，我们使用模板metrics中的类silhouette_score来计算轮廓系数，它返回的是一个数据集中，所有样本的轮廓系数的均值。但我们还有同在metrics模块中的silhouette_sample,它的参数与轮廓系数一致，但返回的是数据集中每个样本自己的轮廓系数。

DBSCAN基本原理

密度的基于中心的方法使得我们可以将点分类为：

（1）核心点：这些点在基于密度的簇内部。点的领域由距离函数和用户指定的距离参数Eps决定。核心点的定义是，如果该点的给定领域内的点的个数超过给定的阈值MinPts，其中MinPts也是一个用户指定的参数。

（2）边界点

（3）噪声点

任意两个足够靠近（相互之间的距离在Eps之内）的核心点将放在同一个簇中，同样，任何与核心点足够靠近的边界点也放到与核心点相同的簇中，噪声点被丢弃。

DBSCAN算法：

（1）将所有点标记为核心点、边界点和噪声点

（2）删除噪声点

（3）为距离在Eps之内的所有核心点之间赋予一条边

（4）每个彼此联通的核心点组成一个簇

（5）将每个边界点指派到一个与之关联的核心点的簇当中

#导入一些包

import numpy as np

import pandas as pd

import matplotlib as mpl

import matplotlib.pyplot as plt

%matplotlib inline

from sklearn.datasets import make_blobs

#模拟出一些数据集出来

r=4

k=3

x,y=make_blobs(n_samples=300,

cluster_std=[0.3,0.3,0.3],

centers=[[0,0],[1,1],[-1,1]],

random_state=r

)

sim_data=pd.DataFrame(x,columns=['x1','x2'])

datasets=sim_data.copy()

plt.scatter(sim_data['x1'],sim_data['x2'])

#手动生成随机的k个质心点出来

centers=[

[-1.5,0.5],

[1.5,0],

[1,-0.5]

]

centers=pd.DataFrame(centers,

columns=['x1','x2'],

index=['blue','green','red'])

#取出其中一个质心点，尝试计算每一个点到这个质心点的距离

tmp_centers=centers.loc['blue',:]

#直接使用数据-质心点的方式尝试计算每个点到质心点的距离

np.power(datasets-tmp_centers,2).sum(axis=1)

l=[]

for i in centers.index:

tmp_centers=centers.loc[i,:]

l.append(np.power(datasets-tmp_centers,2).sum(axis=1))

d_to_centers=pd.concat(l,axis=1)

d_to_centers.columns=centers.index

curr_group=d_to_centers.idxmin(axis=1)

#当每一个点有一个新的簇的时候，就可以计算新的质心点的位置了

tmp_data=datasets.copy()

tmp_data['curr_group']=curr_group

centers=tmp_data.groupby('curr_group').mean()

#创建一个空的SSE_list，用来存SSE的

#初始化质心点

centers=[

[-1,0.5],

[1,0],

[1,-1]

]

centers=pd.DataFrame(centers,

columns=['x1','x2'],

index=['blue','green','red'])

SSE_list=[]

SSE=-1

#开始迭代

while True:

#保持质心点不变，更新类别

l=[]

#记录上一次迭代中centers，SSE的值

last_centers=centers.copy()

last_SSE=SSE

for i in centers.index:

tmp_centers=centers.loc[i,:]

l.append(np.power(datasets-tmp_centers,2).sum(axis=1))

d_to_centers=pd.concat(l,axis=1)

SSE=d_to_centers.min(axis=1).sum()

SSE_list.append(SSE)

if SSE==last_SSE:

break

d_to_centers.columns=centers.index

curr_group=d_to_centers.idxmin(axis=1)

#保持类别不变，更新质心点

tmp_data=datasets.copy()

tmp_data['curr_group']=curr_group

centers=tmp_data.groupby('curr_group').mean()

plt.scatter(datasets['x1'],datasets['x2'],c=curr_group)

plt.scatter(centers.iloc[:,0],centers.iloc[:,1],c='black',marker='x')

#所有代码和函数集合起来

def initial_centers(datasets,k=3):

cols=datasets.columns

data_content=datasets.loc[:,cols!='label']

range_info=data_content.describe().loc[['min','max']]

k_randoms=[np.random.uniform(range_info[i]['min'],

range_info[i]['max'],k)

for i in range_info.columns]

centers=pd.DataFrame(k_randoms,index=range_info.columns)

return centers.T

def cal_distant(dataset,centers):

data=dataset.loc[:,dataset.columns!='label']

d_to_centers=[np.power(data-centers.loc[i],2).sum(axis=1)

fro i in centers.index]

return pd.concat(d_to_centers,axis=1)

def iterate(dataset,centers):

d_to_centers=cal_distant(dataset,centers)

curr_group=d_to_centers.idxmin(axis=1)

SSE=d_to_centers.min(axis=1).sum()

centers=dataset.loc[:,dataset.columns !='label'].groupby(curr_group).mean()

return curr_group,SSE,centers

def Kmeans_regular(data,k=3):

SSE_list=[0]

centers=initial_centers(data,k=k)

while True:

curr_group,SSE,centers=iterate(data,centers)

if SSE_list[-1]==SSE:

break

SSE_list.append(SSE)

return curr_group,SSE_list,centers

#DBSCAN

from sklearn.datasets import make_moons

X,y=make_moons(200,noise=0.05,random_state=0)

plt.scatter(X[:,0],X[:,1],c=y)

from sklearn.cluster import KMeans

kmeans=KMeans(n_cluster=2)

kmeans.fit(X)

kmeans.labels_

centers=kmeans.cluster_centers_

#尝试使用轮廓系数来查看

from sklearn.cluster import KMeans

from sklearn.metrics import silhouette_score,silhouette_samples

import matplotlib.pyplot as plt

import matplotlib.cm as cm

import numpy as np

from sklearn.datasets import make_blobs

#创建数据集

X,y=make_blobs(n_sample=500,n_features=2,centers=4,random_state=1)

plt.scatter(X[:,0],X[:,1],marker='o',s=8)

data=pd.DataFrame(X)

data['label']=y

#先设定我们要分成的簇数

n_clusters=4

#创建一个画布，画布上共有一行两列两个图

fig,(ax1,ax2)=plt.subplots(1,2)

#画布尺寸

fig.set_size_inches(18,7)

ax1.set_xlim([-0.1,1])

ax1.set_ylim([0,X.shape[0]+(n_cluster+1)*10])

#开始建模，调用聚类好的标签

clusterer=KMeans(n_clusters=n_clusters,random_state=10).fix(X)

cluster_labels=clusterer.labels_

silhouette_avg=silhouette_score(X,cluster_labels)

sample_silhouette_values=silhouette_sample(X,cluster_labels)

y_lower=10

for i in range(n_clusters):

ith_cluster_silhouette_values=sample_silhouette_values[cluster_labels==i]

ith_cluster_silhouette_values.sort()

size_cluster_i=ith_cluster_silhouette_values.shape[0]

y_upper=y_lower+size_cluster_i

color=cm.nipy_spectral(float(i)/n_clusters)

ax1.fill_betweenx(np.arange(y_lower,y_upper),

ith_cluster_silhouette_values,

facecolor=color,

alpha=0.7)

#text的参数为（要显示编号的位置的横坐标，要显示标号的位置的纵坐标，要显示的编号内容）

ax1.text(-0.05,y_lower+0.5*size_cluster_i,str(i))

y_lower=y_upper+10

ax1.set_title('The silhouette plot for the various clusters.')

ax1.set_xlabel('The silhouette coefficient values')

ax1.set_ylabel('Cluster label')

ax1.axvline(x=silhouette_avg,color='red',linestyle='--')

#让y轴不显示任何刻度

ax1.set_yticks([])

#让x轴上的刻度显示为我们规定的列表

ax1.set_xticks([-0.1,0,0.2,0.4,0.6,0.8,1])

colors=cm.nipy_spectral(cluster_labels.astype(float)/n_clusters)

ax2.scatter(X[:,0],X[:,1],marker='o',s=8,c=colors)

centers=clusterer.cluster_centers_

ax2.scatter(centers[:,0],centers[:,1],marker='x',c='red',alpha=1,s=200)

ax2.set_title("The visualization of the clustered data.")
ax2.set_xlabel("Feature space for the 1st feature")
ax2.set_ylabel("Feature space for the 2nd feature")

#为整个图设置标题

plt.suptitle(("Silhouette analysis for KMeans clustering on sample data "
"with n_clusters = %d" % n_clusters),
fontsize=14, fontweight='bold')
plt.show()