autoEncoder作为LSTM的输入，有什么好处吗？

Question

在培训我的LSTM时，是否有任何动机通过自动编码器预先传递它的输入，或者我应该始终提供尽可能多的原始数据？

我有少量的训练数据，它只包含了几个非常罕见的重大事件(尖峰，间隔在时间上)。

Answer 1

编解码器的目的类似于对文本进行嵌入，将输入的潜在空间特征传递给LSTM，而不是原始输入。对于文本而言，这通常是为了将非常大且稀疏的字典(word subword，不管怎样)空间缩减为一个空间，该空间不那么稀疏，显着地更小，因此计算效率更高。

在您的例子中，数据看起来并不是高维的(我假设这是因为随着时间的推移而发生的重大事件)，所以您不会得到将输入映射到潜在空间的好处。如果你的趋势随着时间的推移是高维的，那么它可能是值得的，因为嵌入/自编码可能会在几个维度中提取和减少趋势之间的相关性。