【非监督学习 | 聚类】聚类算法类别大全 & 距离度量单位大全

划分（分裂）方法

K-Means算法（K-平均），K-MEDOIDS算法（K-中心点）和CLARANS算法（基于选择的算法）。

优点：简单且易于实现，对处理大数据集和高维数据具有良好的可扩展性。缺点：对初始聚类中心的选择敏感，可能收敛到局部最优解，对异常值和噪声敏感。

层次分析方法

BIRCH算法（平衡迭代规约和聚类），CURE算法（代表点聚类）和CHAMELEON算法（动态模型）。

优点：可以自动发现任意形状和大小的聚类，不需要预先指定聚类个数。缺点：对于大数据集，计算成本较高，可能受到噪声和异常点的干扰。

基于密度的方法

DBSCAN算法（基于高密度连接区域），DENCLUE算法（密度分布函数）和OPTICS算法（对象排序识别）。

优点：能够发现任意形状的聚类，对噪声和异常值具有较好的鲁棒性。缺点：对于高维数据和具有不同密度聚类的数据集效果较差，需要事先指定一些参数。

基于网格的方法

STING算法（统计信息网络），CLIOUE算法（聚类高维空间）和WAVE-CLUSTER算法（小波变换）。

优点：对于高维数据和大规模数据集有良好的可扩展性，能够处理不同形状和大小的聚类。缺点：对初始网格的选择敏感，可能受到数据分布的影响。

K-means

簇的数量

数值型数据

欧几里德距离

优点：简单易实现，计算效率高；缺点：对初始聚类中心敏感，不适用于非凸形状的簇

层次聚类（Hierarchical Clustering）

距离或相似度的度量方法

数值型或类别型数据

可选多种距离度量方法，如欧几里德距离、曼哈顿距离等

优点：不需要预先指定簇的数量，可用于发现任意形状的簇；缺点：计算复杂度高，不适用于处理大规模数据

DBSCAN

邻域半径（epsilon）和最小邻域样本数（min_samples）

数值型或类别型数据

基于密度的距离度量

优点：能够发现任意形状的簇，对初始聚类中心不敏感；缺点：对参数的选择敏感，不适用于高维数据

密度聚类（Density-Based Clustering）

邻域密度阈值

数值型或类别型数据

基于密度的距离度量

优点：对噪声数据和离群点具有较好的鲁棒性；缺点：对参数的选择敏感

局部离群因子（Local Outlier Factor，LOF）

邻域大小（k）

数值型或类别型数据

基于密度的距离度量

优点：能够检测出离群点和数据集中的聚类结构；缺点：对数据集中的局部结构敏感

高斯混合模型（Gaussian Mixture Model，GMM）

簇的数量

数值型数据

基于概率模型的距离度量

优点：能够对数据进行软聚类，灵活性高；缺点：对初始聚类中心敏感，计算复杂度高

欧氏距离（Euclidean Distance）

欧氏距离是最常用的距离度量算法之一，它衡量两个向量之间的直线距离。在欧氏空间中，两个向量的欧氏距离等于它们各个维度差值的平方和的开方。

优点：简单直观，易于理解和计算。缺点：对异常值敏感，受维度灾难影响。

曼哈顿距离（Manhattan Distance）

曼哈顿距离衡量两个向量之间沿坐标轴的总距离。在二维空间中，曼哈顿距离等于两个点横坐标差的绝对值加上纵坐标差的绝对值。

优点：对异常值不敏感，适用于稀疏数据。缺点：不考虑维度之间的相关性。

切比雪夫距离（Chebyshev Distance）

切比雪夫距离是衡量两个向量之间的最大维度差值。在二维空间中，切比雪夫距离等于两个点横坐标差的最大绝对值和纵坐标差的最大绝对值中的较大值。

优点：对异常值不敏感，适用于稀疏数据。缺点：不考虑维度之间的相关性。

闵可夫斯基距离（Minkowski Distance）

闵可夫斯基距离是欧氏距离和曼哈顿距离的一种推广，它通过参数p来控制距离的计算方式。当p=1时，闵可夫斯基距离等同于曼哈顿距离；当p=2时，等同于欧氏距离。

优点：灵活性强，可以根据需求选择不同的参数p。缺点：对于参数p的选择较为敏感。

马氏距离（Mahalanobis Distance）

马氏距离考虑了数据集的协方差矩阵，通过将数据映射到一个空间中，使得在该空间中的欧氏距离与原始空间中的马氏距离等价。马氏距离可以解决特征之间的相关性和尺度不同的问题。

优点：考虑了特征之间的相关性，适用于高维数据。缺点：需要估计协方差矩阵，计算复杂度较高。

皮尔逊相关系数（Pearson Correlation Coefficient）

皮尔逊相关系数衡量两个向量之间的线性相关性。它的取值范围在-1到1之间，其中-1表示完全负相关，1表示完全正相关，0表示无相关性。

优点：可以衡量线性相关性，不受尺度变换影响。缺点：只能衡量线性相关性，对于非线性关系不敏感。

余弦相似度（Cosine Similarity）

余弦相似度衡量两个向量之间的夹角余弦。它通过计算两个向量的内积除以它们的模的乘积来衡量相似度。余弦相似度的取值范围在-1到1之间，其中1表示完全相似，-1表示完全相反，0表示无相似性。

优点：对于稀疏向量计算高效，不受维度灾难影响。缺点：不考虑维度之间的差异。