混合SOM (带MLP)

Question

有谁能提供一些关于如何将自组织映射与多层感知器正确结合的信息吗？

最近，我阅读了一些关于这种技术的文章，与常规MLP相比，它在预测任务方面表现得更好。因此，我希望通过对输入数据进行聚类，并将结果传递给MLP后端，将SOM用作降维的前端。

我目前的想法是用几个训练集来训练SOM，并确定集群。之后，我用与SOM集群一样多的输入单元初始化MLP。下一步是使用SOM的输出来训练MLP (BMU的哪个value?...weights？)与网络输入一样(SOM的输出用于集群匹配输入单元，零用于其他输入单元？)。

Answer 1

没有一种方法可以做到这一点。让我列举一些可能性：

• 你描述的那个。但是，您的MLP需要有K*D输入，其中K是簇数，D是输入维数。没有降维。
• 类似于您的想法，但没有使用权重，只需发送1为BMU和0为其余的集群。然后，您的MLP将需要K输入。
• 与上面相同，但不是1或0，而是将从输入向量到每个集群的距离发送到每个集群。
• 与上述相同，但不是距离，而是计算每个集群的高斯激活。
• 由于SOM保留了拓扑，所以只发送BMU的2D坐标(可能在0和1之间标准化)。然后，您的MLP将只需要2个输入，并实现真正的极端降维。

您可以在这里了解这些想法和更多信息：SOM的主要时间扩展:概述。这不是把SOM的输出喂给MLP，而是把SOM喂给自己。但是，当试图从SOM中产生一些输出时，您将能够理解各种可能性。