如何使用BERT模型回答lQuestions的主观/描述类型？

Question

我正在尝试实现BERT模型来完成问答任务，但它与现有的问答模型略有不同，它将给出一些文本(3-4页)，并将根据文本被问到问题，预期的答案可以是简短的或描述性的主观类型。

我试着为这个任务实现伯特。

我面临的问题：，的输入令牌限制是512。如何得到长形式的答案，可以描述任何实例、过程、事件等。

Answer 1

可以使用输入长度为0f4096个标记，甚至有16384个带有渐变检查点的标记。请参阅https://github.com/allenai/longformer中的详细信息。或者在拥抱脸模型集线器https://huggingface.co/docs/transformers/model_doc/longformer。