LSTM文本生成

Question

我在网上找到的关于LSTMs的大多数例子都提到了“随机”文本生成。我试图解决的问题之一是将许多文档生成一个“摘要”到一个文档中。例如：

• 新闻文章:巴拉克·奥巴马的生活史(2K字)
• 维基百科:巴拉克·奥巴马(10K字)
• 巴拉克·奥巴马传记(10K字)

会用X字写一篇关于奥巴马的文章。

LSTM是正确的方法吗？

Answer 1

虽然您可以以这种方式生成文本--从RNN中抽取样本来预测下一个字符或单词--但这是没有意义的。最好是语法上准确的(名词、动词、形容词等)，但语义上是无稽之谈。这不是一个总结，除非是幸运的意外。

要直接使用LSTM生成摘要，您需要使用实际的摘要输入和输出示例来培训网络。这将是类似于机器翻译的任务，但由于输入的大小的变化，难度要大得多。您不太可能找到足够的培训数据来全面测试这一想法，而且即使有大量的培训数据，也不清楚这样一种直接的方法是否能产生可接受的结果。

事实上，文字摘要绝不是一个解决问题的方法。有一些深入学习的方法，如谷歌大脑团队利用TensorFlow的努力，您可以学习这些方法来获得一些示例代码和一种最先进的感觉。这种方法使用一种注意力模型来提取明显的信息内容(即某些假定的通用文件中出现的可能性很低的内容，因此由于突出而被假定是有趣的)。使用经过训练的LSTM来建立这样一个基于注意力的模型是可能的--直觉是，已经受过训练的LSTM最不可能预测的文档中的部分可能包含值得注意的信息。