使用序列模型训练会话

Question

我有一个关于训练会话的问题，上下文是下一条语句不一定是前一条语句的函数，但也是对话主体中任何语句的函数，例如：

person1:你最喜欢的食物和餐馆是什么人2:我最喜欢的食物是汉堡，McDonald是我最喜欢的餐厅Person1:你为什么喜欢汉堡2:因为我不关心健康方面的问题person1:既然有这么多地方可以买到汉堡，你为什么喜欢麦当劳

现在我们可以看到，最后一个问题是从3个步骤之前收到的答案中得出的……在此上下文中，我如何训练lstm，使其记住所有以前的上下文。本质上，我正在寻找一种方法来创建我的训练数据和输出句子。

Answer 1

我不确定LSTM是否能为您发布的示例对话提供足够的长期记忆。您可能需要使用某种类型的转换器内存网络来维护上下文。看看解决“角色聊天”问题的方法，以及处理对话上下文的this recent paper。