回答情况：
提问时间：
问题标签：
我想要创建序列分类bert模型。模型输入为2句。但是，我想用大上下文数据对模型进行微调，该数据由多个句子组成(标记的数量可能超过512)。如果训练数据的大小和实际输入数据的大小不同，可以吗？
谢谢
浏览 0提问于2022-03-25得票数 1
例如，框架提供了两个模型：
其中包含一个未经训练的版本。首先，我感到有点惊讶的是，我的微调模型有点大，因为我只将最后一层从21个类更改为14个类，所以我希望模型文件的大小会稍微小一些，但由于差异太小，我没有注意到。所以，我的问题是为什么我在模型文件大小上有这么大的差异，为什么我保存的精细调优模型比原始模型要大呢？是否有方法包括/
浏览 3提问于2017-11-15得票数 0
我想使用一个预先训练的伯特模型，以便在文本分类任务中使用它(我使用的是Huggingface库)。然而，预先训练过的模型是针对与我不同的领域而训练的，我有一个大的未注释的数据集，可以用来微调它。如果我只使用标记的示例并在特定任务(BertForSequenceClassification)的培训中微调它，那么数据集太小，无法适应特定领域的语言模型。这样做最好的方法是什么？谢谢!
浏览 5提问于2021-04-27得票数 1
回答已采纳
集成大型机器学习/深度学习模型微调的web应用程序如何处理这些模型的存储和检索以进行推理？我正在考虑的当前方法是以压缩格式将精调模型存储在S3或R2桶中。每
浏览 0提问于2023-02-03得票数 0
回答已采纳
我在caffenet中使用微调，它工作得很好，但是我在Keras 关于微调的博客中读到了这篇文章(他们使用经过训练的VGG16模型)：
“为了进行微调，所有层都应该从经过适当训练的权重开始:例如，你不应该把一个随机初始化的完全连接的网络放在一个预先训练过的卷积基础上这是因为随机初始化的权值引发的大梯度更新会破坏卷积基中的学习权重。在我们的情况下，这就是为什么我们首先训练顶级分类器，然后才开始与它并排微调卷积权。”因此，作为微调的另一步，它们在全连通层(“瓶颈特征”)之前
浏览 0提问于2017-03-20得票数 2
1回答
在计算机视觉中，如果我们没有一个大的训练集，一个常见的方法是从一个预先训练过的模型开始一些相关的任务(例如ImageNet)，并微调这个模型来解决我们的问题。
对于自然语言处理问题，能做类似的事情吗？特别是，是否有一个很好的方法来微调一个LSTM或1dcnn或其他转移学习？如果我们想对句子进行分类，那么是否有一个合理的预先训练的模型可以开始呢？
浏览 0提问于2018-05-28得票数 2
我有一个预先训练过的模型(tensorflow模型)，它是使用来自公共数据集的数据进行训练的。我有元文件和录入文件。我想训练我的tensorflow模型使用新的数据从私人获得的数据集。我有小数据集，所以我想微调我的模型根据‘战略2’或‘战略3’。但是，我无法找到在tensorflow模型的传输学习和微调中实现的示例代码。ke
浏览 0修改于2020-03-02得票数 1
我想下载一个预先训练过的模型，并用我自己的数据对模型进行微调。我已经下载了一个伯特-大纳模型文物从拥抱脸，我已经列出了以下内容。对于这一点，我想知道我需要哪些文件或工件，从外观上看，pytorch_model.bin是经过训练的模型，但这些其他文件是什么以及它们的用途，比如令牌程序文件和vocab.txt .
config.json
浏览 13提问于2022-09-03得票数 -1
我想微调CenterNet MobileNetV2 FPN键盘512x512，以便从：检测对象。我把焦油装上然后提取。pipeline.config doen没有fine_tune_checkpoint字段，所以我无法在预先训练的模型上进行微调。我有两个问题：-有什么方法可以增加微调场吗？是因为这个模型的输出是关键点吗？
浏览 6提问于2021-06-02得票数 1
我想使用转移，学习和微调，我需要决定哪一部分的原始模型将使用，哪一部分将被冻结。我正在考虑四种可能的情况:小/大的新数据集，这个集合与原始数据集相似/不相似。应如何在每一种情况下取得最佳结果？
浏览 0提问于2021-01-27得票数 0
回答已采纳
假设我的语料库相当大，有成千上万个独特的单词。我可以直接使用它构建一个word2vec模型(下面代码中的方法#1 )，也可以用预先训练的模型权重初始化一个新的word2vec模型，并使用我自己的语料库对其进行微调(方法2)。第二种方法值得考虑吗？如果是这样的话，我在什么时候应该考虑一个预先训练过的模型，是否有一个经验法则？# Approach #1
from gensim.models import Word2Vec
浏览 2提问于2021-04-14得票数 0
回答已采纳
您的任务是了解如何对预先训练的CNN模型进行微调，使用训练数据(我认为每个类有500张图像)“bus”和“tiger”类对网络进行微调，并使用相同2个类的测试数据(每个类100张图像)验证准确性。可以在预先训练的模型的所选层上执行微调。当您微调最后一层、最后两层、最后三层、最后四层和所有五层时，需要记录测试精度我正在进行C
浏览 3提问于2019-11-14得票数 2
最初，我使用文本分类数据集对基于BERT的模型进行了微调，为此我使用了BertforSequenceClassification类。num_labels = 2, # The number of output labels--2 for binary classification.output_hidden_states = False, # Whether the model returns all hidden-states.
) 现在，我想使用这个经过微调的BERT模型权重来识别命
浏览 77提问于2020-03-28得票数 1
回答已采纳
我正在做一个图像检索任务(不涉及人脸)，其中一件事是在CNN模型中换出softmax层，并使用分类器。为此，我对模型进行了微调，然后在完全连接层提取了特征。我现在有大约3000张图片。所以我的最后一个向量是一个3000x4096的向量，大约有700个类(每个类都有2+图像)。我相信这是一个非常大的维度大小，LMNN算法将永远花费(它确实花费了永远)。如何减少维度？如果我要添加另一个层来减少维度，比如说一个新的完全连接的层，我是否必须再次微调我的网络？如何做到这一点的输入将是很棒的！我目前
浏览 17修改于2017-01-23得票数 0
我有一个带有数字列表的微调“光圈”和一个带有两个选项的微调“模式”。当按钮被按下时，我需要使用各种输入来运行计算，包括从“光圈”中选择的当前值和从“模式”中派生的值。如何调用微调器的值，以便在计算中使用它？我的其他输入是EditText视图，所以现在我的设置如下：
input = (EditText) fi
浏览 2修改于2010-01-25得票数 4
我的毕业设计是使用CNN模型上的转移学习，它可以从胸部X光图像中诊断新冠肺炎。利用贝叶斯优化器利用Keras调谐器库对完全连通层数、层中节点数、学习速率、下降率等超参数进行微调，得到了很好的结果，多类分类的测试准确率为98%，二进制分类的测试准确率为99%。然而，我冻结了所有的层在原来的基础模型。我只微调了最后一个完全连接的层后，详尽的超参数优化。大多数的文章和论文说，他们精细的完全连接的层，以及一些卷积层。我做错什么了吗？恐怕这太好了，不可能是真的。我的数据集没有那么大，只有7000张来自卡格尔新冠肺炎
浏览 3修改于2021-02-10得票数 0
回答已采纳
我有一个大文件(1 GB+)，混合了短文本和长文本(格式: wikitext-2)，用于微调蒙面语言模型，作为基线模型。我遵守了的指示。我不知道出了什么问题，是真的卡住了，还是这么大的文件真的要花很长时间？
浏览 1修改于2020-06-19得票数 0
我想对一个预先训练好的BERT模型进行微调。但是，我的任务使用特定领域内的数据(比如生物医学数据)。此外，我的数据也是一种不同于英语的语言(比如荷兰语)。现在，我可以微调荷兰bert-base-荷兰案例预训练模型。然而，我该如何对生物医学BERT模型进行微调，比如BioBERT，它属于正确的领域，但语言错误？如果我在没有对模型进行任何更改的情况下进行微调，我担心模型不会很好地学习任务，因为它是在完全不同的语言上预先训练的。
浏览 4提问于2021-01-28得票数 2
我注意到，当我运行目标在0-100范围内的模型时，它不会学习-验证损失没有改善，25%大目标的损失非常大，比这组中的std大得多。然而，当我用0-1范围内的目标运行模型时，它确实学习了，并且我得到了很好的结果。 如果有人能解释为什么会发生这种情况，如果使用范围0-1是“作弊”，那就太好了。 还有-我应该扩展目标吗？一些额外的信息-我正在尝试微调bert以完成特定的任务。我使用MSEloss。 谢谢!
浏览 35提问于2020-07-26得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号