机器学习——kMeans

2023-07-03

4.3-4.4 完整K-Means算法的实现及聚类结果评价

任务

补全完整的K-Means算法代码
在数据集data.csv上评价 K-Means 算法的聚类结果
绘出质心与所属样本

预期实验结果

待补全代码

代码1：kMeans 聚类代码实现

from numpy import *
def distEuclidean(vecA, vecB):
    return sqrt(sum(power(vecA - vecB, 2)))
def randCent(dataArr, k):
    '''
    构建一个包含k个随机质心的集合（k行n列，n表示数据的维度/特征个数），
    只需要保证质心在数据边界里面就可以了
    :param dataSet: 输入数据集
    :param k: 质心个数
    :return:
    '''
    # 得到数据样本的维度
    n = dataArr.shape[1]
    centroids = np.mat(np.zeros((k, n)))
    # 遍历数据集的每一个维度
    for j in range(n):
        # 得到该列数据的最小值,最大值
        minJ = min(dataArr[:,j])
        maxJ = max(dataArr[:,j])
        # 得到该列数据的范围(最大值-最小值)
        rangeJ = float(maxJ - minJ)
        # k个质心向量的第j维数据值随机为位于(最小值，最大值)内的某一值
        centroids[:, j] = minJ + rangeJ * np.random.rand(k, 1)  # random.rand(行，列)产生这个形状的矩阵，且每个元素in [0,1)
    # 返回初始化得到的k个质心向量
    return centroids
def kMeans(dataArr, k):

    m = dataArr.shape[0]
    dataArr=np.array(dataArr)
    centroids=randCent(dataArr,k)
    clusterAssment = mat(zeros((m, 2))) # 创建存储簇分配结果的矩阵
    
    clusterChanged = True # 簇分配结果改变标志
    
    while clusterChanged:
        clusterChanged = False
        for i in range(m):
            minDist=float('inf')
            minIndex=-1
            # 1. 遍历每个数据点，计算其与各簇中心的距离，以最近簇作为分配结果
            for j in range(k):
                dist=distEuclidean(dataArr[i,:],centroids[j,:])
                if( minDist > dist ):
                    minDist = dist
                    minIndex = j
            if(clusterAssment[i,0]!=minIndex):
                clusterChanged=True
            clusterAssment[i,:] = minIndex, minDist**2

        # 2. 重新计算各簇的中心
        for cent in range(k):
            centroids[cent, :] = np.mean(dataArr[nonzero(clusterAssment[:, 0].A==cent)[0]], axis=0)

    return centroids, clusterAssment

代码2：展示kMeans聚类结果（已实现）

import matplotlib.pyplot as plt
import seaborn as sns # 导入seaborn包
sns.set_context("notebook",font_scale=1.3) # notebook格式，放大横纵坐标标记
sns.set_palette('Set2') # 配色使用Set2  
%matplotlib inline 
%config InlineBackend.figure_format = 'retina' # retina高清显示

def plotResult(data, k):
    np.random.seed(6)
    centroids,clusterAssment = kMeans(data, k)
    print("最终质心：")
    print(centroids)
    print("点所属簇的标签：")
    print(np.array(clusterAssment)[:,0])

    rect=[0.1, 0.1, 0.8, 0.8]
    fig = plt.figure()
    markers = ['s', 'o', '^', 'd']
    ax = fig.add_axes(rect)
    for cent in range(4):
        # 簇内数据矩阵和簇中心
        ptsInCluster = data[nonzero(clusterAssment[:, 0].A==cent)[0]]
        ax.scatter(ptsInCluster[:, 0], 
                   ptsInCluster[:, 1],
                   marker=markers[cent],
                   s=45)

    ax.scatter(centroids[:, 0].flatten().A[0], 
               centroids[:, 1].flatten().A[0], 
               marker='+',
               s=100,
               c='k')

代码3：加载数据，调用上述函数，评价聚类结果

import pandas as pd
import numpy as np
# 加载数据，调用上述函数，评价聚类结果
data = pd.read_csv('data.csv')
data=np.array(data)
plotResult(data, 4)

最终质心：
[[ 2.65664152 -2.83520929]
 [-2.4429474   2.79575765]
 [ 2.63711921  3.06283895]
 [-3.50360111 -2.93524711]]
点所属簇的标签：
[1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 1. 2. 2. 2. 2.
 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 2. 0. 0. 0. 0. 0. 0. 0. 0. 0.
 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 3. 3. 3. 3. 3. 3. 3. 3. 3. 3. 3. 3.
 3. 3. 3. 3. 3. 3. 3.]

output_9_1

4.5 sklearn中的kMeans

任务

调用sklearn中提供的kMeans算法
在数据集data.csv上评价 K-Means 算法的聚类结果
绘出质心与所属样本
对比分析与自己实验的kmeans聚类的实验结果的差异

预期实验结果

待补全代码

# 导入 sklearn中的KMeans工具包
from sklearn.cluster import KMeans

#画图函数
import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns # 导入seaborn包
sns.set_context("notebook",font_scale=1.3) # notebook格式，放大横纵坐标标记
sns.set_palette('Set2') # 配色使用Set2  
%matplotlib inline 
%config InlineBackend.figure_format = 'retina' # retina高清显示

def plotResult(data, k):
    np.random.seed(6)

    # 调用 sklearn 中提供的 KMeans 函数
    kmeans_ = KMeans(n_clusters=k,random_state=0)
    kmeans_.fit(data)

    centroids = kmeans_.cluster_centers_
    clusterAssment = kmeans_.labels_
    print("最终质心：")
    print(centroids)
    print("点所属簇的标签：")
    print(clusterAssment)
    rect=[0.1, 0.1, 0.8, 0.8]
    fig = plt.figure()
    markers = ['s', 'o', '^', 'd']
    ax = fig.add_axes(rect)
    for cent in range(4):
        # 簇内数据矩阵和簇中心
        ptsInCluster = data.values[np.nonzero(clusterAssment==cent)[0]]
        ax.scatter(ptsInCluster[:, 0], 
                   ptsInCluster[:, 1],
                   marker=markers[cent],
                   s=45)

    ax.scatter(centroids[:, 0].flatten(), 
               centroids[:, 1].flatten(), 
               marker='+',
               s=100,
               c='k')

加载数据，调用上述函数，评价聚类结果

# 加载数据
data = pd.read_csv('data.csv')
# 调用聚类函数，并展示聚类结果
plotResult(data, 4)

最终质心：
[[ 2.63711921  3.06283895]
 [-3.34778945 -2.98727265]
 [ 2.808842   -2.77818185]
 [-2.4429474   2.79575765]]
点所属簇的标签：
[3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0
 0 0 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 2 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
 1 1 1 1 1]

output_16_1