预测文本中的缺失词

Question

我知道伯特和其他解决方案，当你掩盖一些话，并试图预测他们。但假设我有条短信：

变压器采取了风暴自然处理的方式，以突飞猛进的方式改造着现场。新的，更大的，更好的模型，出现几乎每一个基准的性能跨越各种各样的任务。

我不能事先告诉伯特面具在哪。我正在寻找一种算法，它可以理解遗漏的单词在哪里，并在此之后预测它们。

Answer 1

这不是简单，而是可行的。我建议您以以下方式创建培训数据:获取尽可能大的文本语料库，并删除随机抽取的单词。然后训练一个seq2seq RNN来映射这个“恶化”的文本和它的原始文本。

您需要的RNN与NMT模型没有太大的不同，但是它的目标当然是不同的。

这是我第一次遇到这样的任务，所以我不能说什么是最先进的。