google键盘使用哪种算法来实现自动建议(包括个人词汇)？

Question

我很困惑，因为google不能用每个人的个人词汇来训练他们的文本生成模型。

我试图开发类似的东西，但在神经网络训练期间，当类的数量变得动态时，我被卡住了。

如果我不知道类的数量，1怎么能给出层的大小和输入的尺寸。

假设谷歌知道英语词汇中的单词，我把我的俚语中的一些单词放到了我的个人词典中，它能够在将来向我推荐这些单词。

假设谷歌词汇由10个单词组成，我给它一个序列中的5个单词，它将它们编码成1和0的(5x10)向量的大小。

然后我加入了4个新单词。现在总单词大小= 14

但是RNN (如果使用)是使用只有10个单词的单词大小进行训练的。它不能对这些新单词进行编码，因为这些单词在训练时不属于单词。

它是否使用(5x14)大小的向量重新训练其文本生成模型？

Answer 1

根据这个谷歌AI article，他们使用了两个东西的组合：

• Neural空间模型：解决字符级别的认知和运动错误(表现为拼写错误、字符插入、删除或交换等)。他们使用从speech processing.
• Finite-State Transducers得到的CTC损失函数训练的字符级LSTM模型:该模型提供语言词汇约束(语言中出现的单词)和语法约束(单词可能紧跟在其他单词之后)。后者使用概率n元语法模型来表示键盘的语言模型。

在您的情况下，我建议如下：

你的RNN需要在character-level上进行训练，而不是在单词级别上进行训练，以跟踪misspellings.

• Use，一个n-模型，用于跟踪哪些单词通常伴随哪些单词。这需要在您首选的vocabulary.
• Lastly，上进行训练虽然不容易，但它是可行的！！