论文阅读03——《Structural Deep Clustering Network》

论文阅读03——《Structural Deep Clustering Network》

作者：Deyu Bo, Xiao Wang, Chuan Shi, Meiqi Zhu, Emiao Lu, Peng Cui 发表时间：2020年4月 论文地址：https://arxiv.org/pdf/2002.01633.pdf

Ideas:

1. 首次明确地将图结构信息应用到深度聚类中
2. 提出结构化深度聚类网络模型Model：

::: 从模型框架中可以看出该模型主要包含四个模块：KNN模块、DNN模块、GCN模块和双重自监督模块，分别介绍如下：

KNN模块

该模块主要是对非图数据进行处理，通过K近邻算法构建一个K近邻的图，首先要构造相似性矩阵，从相似性矩阵中选择节点前K个作为邻居，相似性矩阵构造方式有以下两种：

• 针对图像等数据，使用热核方法计算样本 i 和样本 j 之间的相似度：

• 对于词包等数据，由于样本间相似性只与使用相同单词的数量有关，使用点积法计算样本 i 和样本 j 之间的相似度：

DNN模块

DNN模块是一个自编码器，用于提取属性特征。编码器部分通过堆叠以下层（带偏置矩阵的线性变换层）：

解码器部分：

自编码器重建损失：

GCN模块

图卷积操作：

\widetilde{A}=A+I，也就是说\widetilde{A} 是带有自环的邻接矩阵。

作者直接将自编码器每一层的输出和上一层GCN的输出进行简单的加权得到所谓的“更完整更强大”的表示：

将上述表示进行卷积得到第 l 层：

在第一层中直接将 X 作为输入：

最后一层是一个多分类问题，使用softmax函数：

双重自监督模块

和上一篇文章一样，我认为我理解的不太好，尤其是对目标分布P的理解，如果有大神清楚这个问题欢迎在评论区指教。

分布Q是自编码器的隐藏嵌入与k-means聚类中心的相似度：

目标分布P仍然是将Q分布平方归一化：

:::

通过计算P和Q间的KL散度损失作为聚类损失：

此外，GCN模块还产生了分布Z，使用P监督Z：

目标函数为：

算法伪代码

源码地址：https://github.com/bdy9527/SDCN