回答情况：
提问时间：
问题标签：
我想使用一个预先训练的伯特模型，以便在文本分类任务中使用它(我使用的是Huggingface库)。然而，预先训练过的模型是针对与我不同的领域而训练的，我有一个大的未注释的数据集，可以用来微调它。如果我只使用标记的示例并在特定任务(BertForSequenceClassification)的培训中微调它，那么数据集太小，无法适应特定领域的语言模型。这样做最好的方法是什么？谢谢!
浏览 5提问于2021-04-27得票数 1
回答已采纳
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
例如，框架提供了两个模型：
当我在我的模型中应用微调时，在图形中做一些小改动(在框架中有一个模块)并保存我的模型时，大小基本上是相同的：178.525 kb。首先，我感到有点惊讶的是，我的微调模型有点大，因为我只将最后一层从21个类更改为14个类，所以我希望模型文件的大小会稍微小一些，但由于差异太小，我没有注
浏览 3提问于2017-11-15得票数 0
我在caffenet中使用微调，它工作得很好，但是我在Keras 关于微调的博客中读到了这篇文章(他们使用经过训练的VGG16模型)：
“为了进行微调，所有层都应该从经过适当训练的权重开始:例如，你不应该把一个随机初始化的完全连接的网络放在一个预先训练过的卷积基础上这是因为随机初始化的权值引发的大梯度更新会破坏卷积基中的学习权重。在我们的情况下，这就是为什么我们首先训练顶级分类器，然后才开始与它并排微调卷积权。”因此，作为微调的另一步，它们在全连通层(“瓶颈特征”)之前
浏览 0提问于2017-03-20得票数 2
1回答
在计算机视觉中，如果我们没有一个大的训练集，一个常见的方法是从一个预先训练过的模型开始一些相关的任务(例如ImageNet)，并微调这个模型来解决我们的问题。
对于自然语言处理问题，能做类似的事情吗？特别是，是否有一个很好的方法来微调一个LSTM或1dcnn或其他转移学习？如果我们想对句子进行分类，那么是否有一个合理的预先训练的模型可以开始呢？
浏览 0提问于2018-05-28得票数 2
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我正在考虑的当前方法是以压缩格式将精调模型存储在S3或R2桶中。每次用户访问web应
浏览 0提问于2023-02-03得票数 0
回答已采纳
5 : 0, titleStyle={{ fontSize: normalize(10) }} onPress={login}问题是加载微调器比按钮文本大，所以当你点击按钮时，它会使加载微调器出现在按钮内，并且按钮高度增加，以满足加载微调器的大小，这看起来很糟糕，然后当加载微调<
浏览 0提问于2020-05-15得票数 1
您的任务是了解如何对预先训练的CNN模型进行微调，使用训练数据(我认为每个类有500张图像)“bus”和“tiger”类对网络进行微调，并使用相同2个类的测试数据(每个类100张图像)验证准确性。可以在预先训练的模型的所选层上执行微调。当您微调最后一层、最后两层、最后三层、最后四层和所有五层时，需要记录测试精度我正在进行CIFAR1
浏览 3提问于2019-11-14得票数 2
我想下载一个预先训练过的模型，并用我自己的数据对模型进行微调。我已经下载了一个伯特-大纳模型文物从拥抱脸，我已经列出了以下内容。对于这一点，我想知道我需要哪些文件或工件，从外观上看，pytorch_model.bin是经过训练的模型，但这些其他文件是什么以及它们的用途，比如令牌程序文件和vocab.txt .
config.json
浏览 13提问于2022-09-03得票数 -1
我想使用转移，学习和微调，我需要决定哪一部分的原始模型将使用，哪一部分将被冻结。我正在考虑四种可能的情况:小/大的新数据集，这个集合与原始数据集相似/不相似。应如何在每一种情况下取得最佳结果？
浏览 0提问于2021-01-27得票数 0
回答已采纳
1回答
我使用了预先训练的GoogLeNet模型，然后对前10层和前3层进行微调，基本学习率为0.01，最大迭代数为50K，但这种配置没有提供超过75%的精度。我使用了预先训练的GoogLeNet模型，然后在最后两层进行微调，基本学习率为0.01，最大迭代次数达到50K，但这种配置不能给出优于71%的精度。我使用了预先训练过的GoogLeNet模型，然后对最后6层进行微调，基本学习率为0.001，最大迭代次数为50K，但这种配置没有提供超过85%的精度。
浏览 2修改于2016-06-08得票数 4
回答已采纳
我的毕业设计是使用CNN模型上的转移学习，它可以从胸部X光图像中诊断新冠肺炎。利用贝叶斯优化器利用Keras调谐器库对完全连通层数、层中节点数、学习速率、下降率等超参数进行微调，得到了很好的结果，多类分类的测试准确率为98%，二进制分类的测试准确率为99%。然而，我冻结了所有的层在原来的基础模型。我只微调了最后一个完全连接的层后，详尽的超参数优化。大多数的文章和论文说，他们精细的完全连接的层，以及一些卷积层。我做错什么了吗？恐怕这太好了，不可能是真的。我的数据集没有那么大，只有7000张来自卡格尔新冠肺炎
浏览 3修改于2021-02-10得票数 0
回答已采纳
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。
浏览 4提问于2021-01-28得票数 2
我想微调已经调优的BertForSequenceClassification模型，新的数据集只包含一个额外的标签，这是模型以前从未见过的。这样，我想在模型当前能够正确分类的一组标签中添加一个新标签。sentece,labelintent example 2,new_labelinten
浏览 5修改于2021-04-21得票数 2
回答已采纳
请让我知道，为了解决这个问题，我需要微调的模型，以再次反映预测的变化。直到现在，我一直在避免微调，因为它需要超过10个小时。提前感谢
浏览 15提问于2021-05-02得票数 1
回答已采纳
我想在使用Keras时对模型进行微调，我想要更改训练数据和学习率，以便在纪元数达到10时进行训练，那么如何在指定的纪元数结束时获得回调。
浏览 0提问于2019-08-24得票数 0
我注意到，当我运行目标在0-100范围内的模型时，它不会学习-验证损失没有改善，25%大目标的损失非常大，比这组中的std大得多。然而，当我用0-1范围内的目标运行模型时，它确实学习了，并且我得到了很好的结果。 如果有人能解释为什么会发生这种情况，如果使用范围0-1是“作弊”，那就太好了。 还有-我应该扩展目标吗？一些额外的信息-我正在尝试微调bert以完成特定的任务。我使用MSEloss。 谢谢!
浏览 35提问于2020-07-26得票数 0
假设有一个深度学习模型和一个具有预先训练好的权重的检查点。我想要做的是对预先训练的模型进行微调。然而，我发现我必须使用现有模型图中没有定义的新的ADAM优化器对模型进行微调。因为ADAM优化器本身有一些trainable_variables，所以如果我想要基于检查点对模型进行微调，我必须将它们添加到现有的检查点。
浏览 19提问于2020-01-15得票数 0
我有一个预先训练过的模型(tensorflow模型)，它是使用来自公共数据集的数据进行训练的。我有元文件和录入文件。我想训练我的tensorflow模型使用新的数据从私人获得的数据集。我有小数据集，所以我想微调我的模型根据‘战略2’或‘战略3’。但是，我无法找到在tensorflow模型的传输学习和微调中实现的示例代码。keras模型有很多例
浏览 0修改于2020-03-02得票数 1
我正在试图找到关于如何训练BERT模型的信息，可能是从Huggingface Transformers库中，以便嵌入它的输出与我正在使用的文本的上下文更紧密地相关。然而，我能找到的所有例子都是关于为另一个任务微调模型的，比如classification。有没有人碰巧有一个BERT微调模型的例子，用于掩蔽标记或下一句预测，输出另一个根据上下文微调的原始BERT模型？ 谢谢!
浏览 15提问于2021-04-17得票数 3
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号