首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >结合两种不同模型(sBERT和mBERT)的句子嵌入

问结合两种不同模型(sBERT和mBERT)的句子嵌入
EN

Data Science用户
提问于 2022-12-25 02:49:52
回答 3查看 323关注 0票数 0

我正在研究一个帮助学生的聊天机器人。

因此,我想利用在数学上表现更好的bert模型,这导致了我的数学-bert,但是上面的论文说它仅仅是在数学语料库上训练的,这意味着它在一般句子(例如在图像中)上不会有很好的表现,那么有什么方法将句子-bert和数学-bert结合起来吗?

undefined

或者,唯一的方法是从零开始训练伯特模型,使用语料库进行句子-伯特和数学-伯特。

EN

回答 3

Data Science用户

回答已采纳

发布于 2022-12-26 09:21:34

另一种解决方案是直接将GPT用于数学。

目前,GPT-3是解答数学题的最佳模型之一,但它需要强大的硬件。

https://openai.com/blog/grade-school-math/

不过,使用GPT-2可以获得良好的结果:

https://github.com/openai/grade-school-math

https://github.com/openai/grade-school-math/blob/master/grade_学校_数学/火车

我建议从最小的模型(124 m参数)开始。如果仅仅是一个聊天机器人来解决经典的数学题,那就足够了。

https://huggingface.co/gpt2

票数 0
EN

Data Science用户

发布于 2022-12-28 04:25:20

是的,它可以结合句子-伯特和数学-伯特模型,以提高聊天机器人的性能,帮助学生。您可以采取几种不同的方法来做到这一点:

微调:一种方法是在包含数学和非数学句子的组合数据集上微调伯特模型。这将使模型能够学习两种类型的语言,并提高其在各种任务中的性能。您可以使用语句-伯特和数学-伯特模型作为预先培训的模型,然后微调他们在您自己的数据集使用变压器库在Python。

集成学习:另一种方法是使用集成学习,它涉及到训练多个模型,并结合它们的预测来做出最终的预测。你可以训练一个句子-伯特模型和一个数学-伯特模型,然后结合他们的预测使用简单的投票或平均技术。

多任务学习:另一种选择是使用多任务学习,其中包括训练单个模型同时执行多个任务。您可以设计一个多任务学习模型,它能够对数学句子和非数学句子进行分类,并使用它来提高聊天机器人的性能。

票数 0
EN

Data Science用户

发布于 2023-04-03 15:20:21

我还致力于建立一个评估学生论文的模型,并试图将伯特、贝特韦特和罗伯塔的单词嵌入结合起来。我能够结合这些模型中的cls令牌。我的问题是什么编码和注意面具,我将拟合最后的模型,因为我有三套文字编码和注意面具。这是模型结构:-

票数 0
EN
页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://datascience.stackexchange.com/questions/117293

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档