LSTM基本怀疑

Question

LSTM是如何发现某个特定的单词已经发生的。就像经典的字母表，我们有列序。但是在LSTM中，由于每个单元格接收不同的单词，它如何知道某个特定的单词已经发生了？

当我们使用tfidf时，我们知道每一列都引用一个特定的词。但是当我们使用LSTM时，这是怎么可能的。因为LSTM单元根据观察到的单词接收输入。由于没有维护的索引，LSTM如何知道word的出现？

Answer 1

首先，LSTM不知道它收到的单词，至少在你认为的意义上是不知道的。与所有神经网络单元一样，LSTM也使用数字向量表示。即使要将单词的数字表示作为每个单词的唯一数值标识，它仍然是数字表示形式。

现在，我们的想法是，LSTM接收数字表示，并将其用于计算。这取决于您提供一个数字表示，这是有意义的问题。例如，如果你想让那些意义相似的词在数字上被认为与它们相似，那么它们的值在向量表示的空间里应该是相近的。这就是嵌入的作用，提供对您的任务有一定意义的向量表示。

另一件事是LSTM按顺序接收所有的单词。由于LSTM单元有一些内部状态，它是根据训练过程中收到的单词序列来更新的，所以问题是，当你再次给出相同的单词来预测它时，它的数学行为将与训练中收到的相同的单词相同。这是描述你所说的，LSTM细胞识别这个词的唯一方法。因此，它不认识这个词，但提供类似的输入将以类似的方式进行。没有什么能识别单词的东西。