回答情况：
提问时间：
问题标签：
我想使用一个预先训练的伯特模型，以便在文本分类任务中使用它(我使用的是Huggingface库)。然而，预先训练过的模型是针对与我不同的领域而训练的，我有一个大的未注释的数据集，可以用来微调它。如果我只使用标记的示例并在特定任务(BertForSequenceClassification)的培训中微调它，那么数据集太小，无法适应特定领域的语言模型。这样做最好的方法是什么？谢谢!
浏览 5提问于2021-04-27得票数 1
回答已采纳
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
例如，框架提供了两个模型：
当我在我的模型中应用微调时，在图形中做一些小改动(在框架中有一个模块)并保存我的模型时，大小基本上是相同的：178.525 kb。首先，我感到有点惊讶的是，我的微调模型有点大，因为我只将最后一层从21个类更改为14个类，所以我希望模型文件的大小会稍微小一些，但由于差异太小，我没有注
浏览 3提问于2017-11-15得票数 0
我在caffenet中使用微调，它工作得很好，但是我在Keras 关于微调的博客中读到了这篇文章(他们使用经过训练的VGG16模型)：
“为了进行微调，所有层都应该从经过适当训练的权重开始:例如，你不应该把一个随机初始化的完全连接的网络放在一个预先训练过的卷积基础上这是因为随机初始化的权值引发的大梯度更新会破坏卷积基中的学习权重。在我们的情况下，这就是为什么我们首先训练顶级分类器，然后才开始与它并排微调卷积权。”因此，作为微调的另一步，它们在全连通层(“瓶颈特征”)之前
浏览 0提问于2017-03-20得票数 2
1回答
在计算机视觉中，如果我们没有一个大的训练集，一个常见的方法是从一个预先训练过的模型开始一些相关的任务(例如ImageNet)，并微调这个模型来解决我们的问题。
对于自然语言处理问题，能做类似的事情吗？特别是，是否有一个很好的方法来微调一个LSTM或1dcnn或其他转移学习？如果我们想对句子进行分类，那么是否有一个合理的预先训练的模型可以开始呢？
浏览 0提问于2018-05-28得票数 2
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我正在考虑的当前方法是以压缩格式将精调模型存储在S3或R2桶中。每次用户访问web应
浏览 0提问于2023-02-03得票数 0
回答已采纳
我想下载一个预先训练过的模型，并用我自己的数据对模型进行微调。我已经下载了一个伯特-大纳模型文物从拥抱脸，我已经列出了以下内容。对于这一点，我想知道我需要哪些文件或工件，从外观上看，pytorch_model.bin是经过训练的模型，但这些其他文件是什么以及它们的用途，比如令牌程序文件和vocab.txt .
config.json
浏览 13提问于2022-09-03得票数 -1
我想使用转移，学习和微调，我需要决定哪一部分的原始模型将使用，哪一部分将被冻结。我正在考虑四种可能的情况:小/大的新数据集，这个集合与原始数据集相似/不相似。应如何在每一种情况下取得最佳结果？
浏览 0提问于2021-01-27得票数 0
回答已采纳
我的毕业设计是使用CNN模型上的转移学习，它可以从胸部X光图像中诊断新冠肺炎。利用贝叶斯优化器利用Keras调谐器库对完全连通层数、层中节点数、学习速率、下降率等超参数进行微调，得到了很好的结果，多类分类的测试准确率为98%，二进制分类的测试准确率为99%。然而，我冻结了所有的层在原来的基础模型。我只微调了最后一个完全连接的层后，详尽的超参数优化。大多数的文章和论文说，他们精细的完全连接的层，以及一些卷积层。我做错什么了吗？恐怕这太好了，不可能是真的。我的数据集没有那么大，只有7000张来自卡格尔新冠肺炎
浏览 3修改于2021-02-10得票数 0
回答已采纳
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。
浏览 4提问于2021-01-28得票数 2
我注意到，当我运行目标在0-100范围内的模型时，它不会学习-验证损失没有改善，25%大目标的损失非常大，比这组中的std大得多。然而，当我用0-1范围内的目标运行模型时，它确实学习了，并且我得到了很好的结果。 如果有人能解释为什么会发生这种情况，如果使用范围0-1是“作弊”，那就太好了。 还有-我应该扩展目标吗？一些额外的信息-我正在尝试微调bert以完成特定的任务。我使用MSEloss。 谢谢!
浏览 35提问于2020-07-26得票数 0
假设有一个深度学习模型和一个具有预先训练好的权重的检查点。我想要做的是对预先训练的模型进行微调。然而，我发现我必须使用现有模型图中没有定义的新的ADAM优化器对模型进行微调。因为ADAM优化器本身有一些trainable_variables，所以如果我想要基于检查点对模型进行微调，我必须将它们添加到现有的检查点。
浏览 19提问于2020-01-15得票数 0
我有一个预先训练过的模型(tensorflow模型)，它是使用来自公共数据集的数据进行训练的。我有元文件和录入文件。我想训练我的tensorflow模型使用新的数据从私人获得的数据集。我有小数据集，所以我想微调我的模型根据‘战略2’或‘战略3’。但是，我无法找到在tensorflow模型的传输学习和微调中实现的示例代码。keras模型有很多例
浏览 0修改于2020-03-02得票数 1
我正在试图找到关于如何训练BERT模型的信息，可能是从Huggingface Transformers库中，以便嵌入它的输出与我正在使用的文本的上下文更紧密地相关。然而，我能找到的所有例子都是关于为另一个任务微调模型的，比如classification。有没有人碰巧有一个BERT微调模型的例子，用于掩蔽标记或下一句预测，输出另一个根据上下文微调的原始BERT模型？ 谢谢!
浏览 15提问于2021-04-17得票数 3
回答已采纳
我在互联网上看到了许多关于如何微调VGG16和InceptionV3的例子。例如，一些人会在微调VGG16时将前25层设置为冻结。对于InceptionV3，头172个层将被冻结。但是resnet呢？当我们进行微调时，我们将冻结一些基本模型的层，如下所示：
base_model = ResNet50(实际上，当我使用VGG16、VGG19、ResNet50、InceptionV3 .etc进行微调时，我不知
浏览 6提问于2017-10-11得票数 2
*我使用经过预先训练的BertModel在squadv1上微调模型，然后微调结果模型到最终模型。这就是我如何在squadv1上加载我的三重模型的方法model = AutoModelForQuestionAnswering.from_pretrained(output_dir)
tokenizer = AutoTokenizer.from_pretrain
浏览 3提问于2021-12-16得票数 0
我使用ktrain对文本分类的bert模型进行了微调。同样，我想在另一个文本分类数据上对此模型进行微调。我该怎么做？
浏览 23提问于2021-04-29得票数 1
我想微调CenterNet MobileNetV2 FPN键盘512x512，以便从：检测对象。我把焦油装上然后提取。pipeline.config doen没有fine_tune_checkpoint字段，所以我无法在预先训练的模型上进行微调。我有两个问题：-有什么方法可以增加微调场吗？是因为这个模型的输出是关键点吗？
浏览 6提问于2021-06-02得票数 1
在我的分类任务中，我必须对inception V3预训练模型进行微调。然而，当我在互联网上搜索时，似乎只能微调这个模型的最后一层。我希望微调所有的层，或者至少是完全连接的层，而不仅仅是顶层。
浏览 2修改于2017-05-23得票数 0
我有在getDropDownView()方法中创建的项目的微调器。在创建了微调器后，我不知道为什么它会滚动到微调器中的最后一项(微调器比整个屏幕视图都大)。问题是如何在不选择项目的情况下滚动到微调器项目的顶部？ScrollY，ScrollTo在这里不起作用。
问候
浏览 2提问于2020-02-03得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号