我能做一个基于变压器的聊天机器人，它是在其他数据集上预先训练的吗？

Question

我目前正在从本页的教程中制作一个医疗变压器聊天机器人：

https://blog.tensorflow.org/2019/05/transformer-chatbot-tutorial-with-tensorflow-2.html

我用的是医学问答的文本语料库。当我训练和测试模型时，它只是给出了与医学领域相关的问题的答案。然而，我想创建一个会话聊天机器人，它可以回答一些基本问题，比如“你好吗？”和“我需要帮助”。有没有办法让我们先训练一些重量，然后在我的医学数据集上训练模型呢？我对自然语言处理领域非常陌生，所以确实需要一些指导。谢谢!

Answer 1

一般的解决方案是设计一些对话框模板，您可以填充问题答案。然后使用qa模型生成合成数据集。您应该能够使用生成的数据来培训/finetune/设置您的聊天机器人。其余的是关于一个重要的细节，在一个项目，你得到那里！