从伯特那里得到长时间的答案

Question

我们正在使用Google进行问答。我们使用vanialla基地，以及小队训练的检查站。

伯特的答案非常简短和清晰。例如，如果我们要求描述一个聊天机器人，那么它只会返回，接受用户的输入并回复.虽然答案其实是完整的段落。

• 对伯特进行长篇培训能解决这个问题吗？如果是的话，我们可以从哪里获得这样的QnA数据集，因为手动创建一个巨大的QnA数据集是不可能的。
• 有没有其他的调整，可以在某些伯特层，以便它开始理解一个长期的答案？
• 或者，是否有任何其他框架或系统已经通过与其他神经网络技术的集成，或者使用由多个组件组成的管道来解决这类问题？

Answer 1

您可以检查quora中的QnA数据集。

就长答案而言，这可能不是因为BERT，因为SQuAD对于大多数问题都有非常简洁和简短的答案。

BERT已经理解了数据中的长期依赖关系(使用深度双向转换器的原因之一)。