无标记数据上变分自动编码器性能的评价

Question

我设计了一个变分自动编码器(VAE)，它对时序数据进行聚类。为了评估VAE在标记数据上的性能，首先对原始数据运行KMeans，并使用调整的互信息评分(AMI)将生成的标签与真正的标签进行比较。然后，在对模型进行训练后，将验证数据传递给它，在潜在向量上运行KMeans，并将生成的标签与使用AMI的验证数据的真实标签进行比较。最后，我比较了两个AMI的得分，看看KMeans在潜在向量上的性能是否优于原始数据。

我的问题是:当数据未被标记时，我们如何评估VAE的性能？

我知道我们可以在原始数据上运行KMeans并为其生成标签，但是在这种情况下，既然我们认为生成的标签是真正的标签，那么如何比较KMeans在原始数据上的性能和在潜在向量上的KMeans的性能呢？

注：模型是完全无监督的。培训过程中不使用标签(如果存在)。它们只用于评估。

Answer 1

在无监督学习中，您可以使用标记数据或视觉分析来评估模型的性能。在您的情况下，您没有标签数据，所以您需要进行分析。一种方法是通过观察预测。如果您知道原始数据应该如何标记，您可以定性地评估其准确性。另一种方法是，由于您使用的是KMeans，所以是可视化集群。如果星系团分散在一起，这通常是一个好的迹象。然而，如果它们更紧密地联系在一起并相互重叠，那么在各自区域中的向量标记可能就不那么准确了。或者，您可以使用某种度量来评估集群或提出您自己的指标。