回答情况：
提问时间：
问题标签：
我想使用一个预先训练的伯特模型，以便在文本分类任务中使用它(我使用的是Huggingface库)。然而，预先训练过的模型是针对与我不同的领域而训练的，我有一个大的未注释的数据集，可以用来微调它。如果我只使用标记的示例并在特定任务(BertForSequenceClassification)的培训中微调它，那么数据集太小，无法适应特定领域的语言模型。这样做最好的方法是什么？谢谢!
浏览 5提问于2021-04-27得票数 1
回答已采纳
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
例如，框架提供了两个模型：
当我在我的模型中应用微调时，在图形中做一些小改动(在框架中有一个模块)并保存我的模型时，大小基本上是相同的：178.525 kb。首先，我感到有点惊讶的是，我的微调模型有点大，因为我只将最后一层从21个类更改为14个类，所以我希望模型文件的大小会稍微小一些，但由于差异太小，我没有注
浏览 3提问于2017-11-15得票数 0
我在caffenet中使用微调，它工作得很好，但是我在Keras 关于微调的博客中读到了这篇文章(他们使用经过训练的VGG16模型)：
“为了进行微调，所有层都应该从经过适当训练的权重开始:例如，你不应该把一个随机初始化的完全连接的网络放在一个预先训练过的卷积基础上这是因为随机初始化的权值引发的大梯度更新会破坏卷积基中的学习权重。在我们的情况下，这就是为什么我们首先训练顶级分类器，然后才开始与它并排微调卷积权。”因此，作为微调的另一步，它们在全连通层(“瓶颈特征”)之前
浏览 0提问于2017-03-20得票数 2
1回答
在计算机视觉中，如果我们没有一个大的训练集，一个常见的方法是从一个预先训练过的模型开始一些相关的任务(例如ImageNet)，并微调这个模型来解决我们的问题。
对于自然语言处理问题，能做类似的事情吗？特别是，是否有一个很好的方法来微调一个LSTM或1dcnn或其他转移学习？如果我们想对句子进行分类，那么是否有一个合理的预先训练的模型可以开始呢？
浏览 0提问于2018-05-28得票数 2
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我正在考虑的当前方法是以压缩格式将精调模型存储在S3或R2桶中。每次用户访问web应
浏览 0提问于2023-02-03得票数 0
回答已采纳
我想下载一个预先训练过的模型，并用我自己的数据对模型进行微调。我已经下载了一个伯特-大纳模型文物从拥抱脸，我已经列出了以下内容。对于这一点，我想知道我需要哪些文件或工件，从外观上看，pytorch_model.bin是经过训练的模型，但这些其他文件是什么以及它们的用途，比如令牌程序文件和vocab.txt .
config.json
浏览 13提问于2022-09-03得票数 -1
我一直在尝试微调HuggingFace的会话模型:混合体。我尝试了官方拥抱脸网站上给出的传统方法，它要求我们使用trainer.train()方法。我使用.compile()方法进行了尝试。我尝试过使用PyTorch和TensorFlow对我的数据集进行微调。这两种方法似乎都失败了，并给出了一个错误，说明没有名为Blenderbot模型的编译或训练方法。我也愿意使用其他HuggingFace会话模型进行微调。
下面是我用来微调blenderbot模型的
浏览 7修改于2022-07-19得票数 6
我想使用转移，学习和微调，我需要决定哪一部分的原始模型将使用，哪一部分将被冻结。我正在考虑四种可能的情况:小/大的新数据集，这个集合与原始数据集相似/不相似。应如何在每一种情况下取得最佳结果？
浏览 0提问于2021-01-27得票数 0
回答已采纳
5 : 0, titleStyle={{ fontSize: normalize(10) }} onPress={login}问题是加载微调器比按钮文本大，所以当你点击按钮时，它会使加载微调器出现在按钮内，并且按钮高度增加，以满足加载微调器的大小，这看起来很糟糕，然后当加载微调<
浏览 0提问于2020-05-15得票数 1
我试图使用HuggingFace库来使用自定义数据集对T5转换器模型进行微调。HF提供了一个的例子，但是这是针对蒸馏器模型的，而不是我想要使用的T5模型。使用“使用自定义数据进行微调”的原始示例代码，dataset类是：
这就是最初让我四处寻找解决方案的原因。因此，使用“使用自定义数据进行微调”似乎并不像更改模型和标记器(以及您正在培训的输入/输出数据)一样简单，因为当从蒸馏器切换到文本<em
浏览 19修改于2021-08-05得票数 0
(SSD)进行微调。当我的新模型与我用于微调检查点的预训练模型有不同数量的类时，TensorFlow对象检测API将如何处理分类权重张量？当在像SSD这样的ML对象检测模型中微调预训练模型时，我不仅可以用预先训练的权重初始化特征提取器的权重，而且可以初始化特征地图的定位层权重和分类层权重，后者只选择选择的预训练类权重，这样我就可以减少模型最初能够识别的类数这是在keras模型(即h5文件中)中所做的，我也希望在Ten
浏览 1修改于2018-03-20得票数 2
回答已采纳
1回答
我遵循在存储库中提供的教程，用花卉数据集对InceptionV3模型进行微调。在冻结图形并在我自己的代码中使用它方面，我能够一路走到教程的末尾。然而，我的印象是，通过将输出张量从(?, 5)形状，对模型进行微调。但形状仍然是(?, 1001)。我是不是漏掉了什么？
我当时正在用花卉数据集测试它，但最终我的目标是训练一个没有出现在ImageNet 1001中的类的模型。
浏览 11提问于2020-05-14得票数 0
回答已采纳
我的毕业设计是使用CNN模型上的转移学习，它可以从胸部X光图像中诊断新冠肺炎。利用贝叶斯优化器利用Keras调谐器库对完全连通层数、层中节点数、学习速率、下降率等超参数进行微调，得到了很好的结果，多类分类的测试准确率为98%，二进制分类的测试准确率为99%。然而，我冻结了所有的层在原来的基础模型。我只微调了最后一个完全连接的层后，详尽的超参数优化。大多数的文章和论文说，他们精细的完全连接的层，以及一些卷积层。我做错什么了吗？恐怕这太好了，不可能是真的。我的数据集没有那么大，只有7000张来自卡格尔新冠肺炎
浏览 3修改于2021-02-10得票数 0
回答已采纳
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。
浏览 4提问于2021-01-28得票数 2
我注意到，当我运行目标在0-100范围内的模型时，它不会学习-验证损失没有改善，25%大目标的损失非常大，比这组中的std大得多。然而，当我用0-1范围内的目标运行模型时，它确实学习了，并且我得到了很好的结果。 如果有人能解释为什么会发生这种情况，如果使用范围0-1是“作弊”，那就太好了。 还有-我应该扩展目标吗？一些额外的信息-我正在尝试微调bert以完成特定的任务。我使用MSEloss。 谢谢!
浏览 35提问于2020-07-26得票数 0
基本的BERT模型在测试数据集中执行60%的准确率，但不同的微调时期给出了相当不可预测的结果。这是我的设置： max_seq_length=150learning_rate=2e-5 以下是我的实验： base model accuracy=0.61我希望微调的任何时期都不应该比基本模型更差，因为我在相同的数据集上进行了微调和推断。有什么是我误解或应该关心的吗？
浏览 10修改于2020-08-03得票数 1
假设有一个深度学习模型和一个具有预先训练好的权重的检查点。我想要做的是对预先训练的模型进行微调。然而，我发现我必须使用现有模型图中没有定义的新的ADAM优化器对模型进行微调。因为ADAM优化器本身有一些trainable_variables，所以如果我想要基于检查点对模型进行微调，我必须将它们添加到现有的检查点。
浏览 19提问于2020-01-15得票数 0
我有一个预先训练过的模型(tensorflow模型)，它是使用来自公共数据集的数据进行训练的。我有元文件和录入文件。我想训练我的tensorflow模型使用新的数据从私人获得的数据集。我有小数据集，所以我想微调我的模型根据‘战略2’或‘战略3’。但是，我无法找到在tensorflow模型的传输学习和微调中实现的示例代码。keras模型有很多例
浏览 0修改于2020-03-02得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号