我正在研究一个帮助学生的聊天机器人。
因此,我想利用在数学上表现更好的bert模型,这导致了我的数学-bert,但是上面的论文说它仅仅是在数学语料库上训练的,这意味着它在一般句子(例如在图像中)上不会有很好的表现,那么有什么方法将句子-bert和数学-bert结合起来吗?
undefined
或者,唯一的方法是从零开始训练伯特模型,使用语料库进行句子-伯特和数学-伯特。
发布于 2022-12-26 09:21:34
另一种解决方案是直接将GPT用于数学。
目前,GPT-3是解答数学题的最佳模型之一,但它需要强大的硬件。
https://openai.com/blog/grade-school-math/
不过,使用GPT-2可以获得良好的结果:
https://github.com/openai/grade-school-math
https://github.com/openai/grade-school-math/blob/master/grade_学校_数学/火车
我建议从最小的模型(124 m参数)开始。如果仅仅是一个聊天机器人来解决经典的数学题,那就足够了。
发布于 2022-12-28 04:25:20
是的,它可以结合句子-伯特和数学-伯特模型,以提高聊天机器人的性能,帮助学生。您可以采取几种不同的方法来做到这一点:
微调:一种方法是在包含数学和非数学句子的组合数据集上微调伯特模型。这将使模型能够学习两种类型的语言,并提高其在各种任务中的性能。您可以使用语句-伯特和数学-伯特模型作为预先培训的模型,然后微调他们在您自己的数据集使用变压器库在Python。
集成学习:另一种方法是使用集成学习,它涉及到训练多个模型,并结合它们的预测来做出最终的预测。你可以训练一个句子-伯特模型和一个数学-伯特模型,然后结合他们的预测使用简单的投票或平均技术。
多任务学习:另一种选择是使用多任务学习,其中包括训练单个模型同时执行多个任务。您可以设计一个多任务学习模型,它能够对数学句子和非数学句子进行分类,并使用它来提高聊天机器人的性能。
发布于 2023-04-03 15:20:21
我还致力于建立一个评估学生论文的模型,并试图将伯特、贝特韦特和罗伯塔的单词嵌入结合起来。我能够结合这些模型中的cls令牌。我的问题是什么编码和注意面具,我将拟合最后的模型,因为我有三套文字编码和注意面具。这是模型结构:-

https://datascience.stackexchange.com/questions/117293
复制相似问题