零基础学AI人工智能：9.4 聚类算法

承接上一篇分类算法的内容有监督学习依赖标注数据完成模型训练但在真实业务场景中大量数据不存在预先标注的标签。聚类算法作为无监督学习的核心代表能够基于样本特征的内在相似度自动完成分组是数据探索、结构挖掘与无标注场景分析的核心工具。本篇围绕聚类算法的基本定义、K-Means 核心原理与聚类效果评估体系展开讲解。一、聚类算法概述聚类属于典型的无监督学习范式其输入仅包含特征维度不存在人工标注的标签。算法通过度量样本在特征空间中的相似度通常采用欧氏距离作为度量标准将相似度高的样本归为同一簇将差异度大的样本划分至不同簇实现对数据分布结构的无监督自动挖掘。在项目落地中聚类算法通常应用于项目初期的数据探索阶段用于识别数据的潜在分组结构、发现异常样本、完成用户或物料的自动分层。在通过聚类明确数据的类别边界与分组逻辑后通常会进一步转化为有监督学习任务构建精度更高的分类模型。二、K-Means 聚类原理K-Means 是最经典、工业界应用最广泛的聚类算法以簇内样本的特征均值作为簇质心通过迭代优化的方式最小化簇内误差最终完成聚类划分。2.1算法执行流程K-Means 是典型的迭代收敛型算法完整执行流程分为六个阶段确定聚类数量 K预设最终输出的簇数量对应生成 K 个簇质心。K 值是算法的核心超参数其选取直接决定聚类效果主流选型方法包括基于 SSE 的肘部法与基于轮廓系数的评估法。初始化质心从样本集中随机选取 K 个样本作为初始的簇质心。初始质心的选取会影响最终收敛结果可能导致算法陷入局部最优。样本簇分配遍历全部样本计算每个样本到所有质心的距离按照最近邻原则将样本划分到距离最近的质心对应的簇中。更新簇质心完成一轮样本分配后重新计算每个簇的质心取簇内所有样本各维度特征的算术均值作为新的质心坐标。收敛性判断对比更新前后的质心位置若存在差异则基于新质心重复执行样本分配与质心更新步骤。迭代终止当新旧质心位置完全一致或变化量低于预设的收敛阈值时算法停止迭代聚类过程完成。2.2算法特性K-Means 原理简洁、实现复杂度低在大规模数据集上具备较高的计算效率是聚类任务的首选基线算法。其局限性主要体现在对初始质心选取敏感易陷入局部最优对异常值较为敏感默认簇为球形分布对非凸形态的簇拟合效果不佳。三、聚类效果评估指标无监督场景不存在真实标签作为评估基准聚类效果的评估围绕「簇内聚合度高、簇间分离度大」的核心原则展开主流有三类量化评估指标。3.1 SSE误差平方和SSESum of Squared Errors即误差平方和计算所有簇内样本到对应簇质心的距离平方和的总和。该指标直接衡量簇内样本的紧密程度数值越小代表簇内样本聚合度越高聚类的紧凑性越好。基于 SSE 的肘部法是确定最优 K 值的经典方案随着 K 值增大SSE 会持续下降当 K 达到合理值后继续增加簇数量带来的 SSE 下降幅度会显著放缓曲线形成明显的拐点肘部该拐点对应的 K 值即为较优的聚类数量。3.2 CH指数Calinski-Harabasz IndexCH 指数也称为方差比准则通过簇间离散度与簇内离散度的比值衡量聚类效果。簇间距离越大、簇内距离越小CH 指数的数值越高代表类别区分度越强、簇内聚合度越高聚类整体效果越好。该指标计算效率高适合大规模数据集的聚类评估。3.3 SC轮廓系数Silhouette Coefficient轮廓系数同时从凝聚度与分离度两个维度对单个样本的聚类质量进行量化凝聚度单个样本与同簇内其他所有样本的平均距离数值越小代表同簇样本相似度越高分离度单个样本与最近邻簇所有样本的平均距离数值越大代表簇间边界越清晰。单个样本的轮廓系数取值范围为 [-1, 1]整体数据集的平均轮廓系数越接近 1代表聚类效果越好接近 0 说明样本处于簇的边界位置聚类边界模糊为负值则代表样本被错误归类。四、逻辑图