回答情况：
提问时间：
问题标签：
我使用“简单转换器”库预训练了新数据的RoBERTa模型：model = ClassificationModel('roberta', 'roberta-base',use_cuda=False, num_labels我已经加载了预先训练过的模型，如它所说的这里
浏览 0提问于2022-05-23得票数 0
给定一个句子“RoBERTa是BERT的一个高度优化的版本。”，我需要用RoBERTa获得这个句子中每个单词的嵌入。我试着在网上查看示例代码，但没有找到明确的答案。我的观点如下：all_layers = roberta.extract_features(tokens, return_all_hiddens
浏览 3修改于2020-03-26得票数 4
我使用Roberta模型编写了包含两个类的文本分类代码，现在我想绘制混淆矩阵。如何绘制基于Roberta模型的混淆矩阵？RobertaTokenizer = RobertaTokenizer.from_pretrained('roberta-base',do_lower_case=False)
roberta_model= TFRobertaForSequenceClassification.from_pretrained('roberta-base',num_la
浏览 45提问于2021-07-04得票数 0
我对huggingface的distillBERT工作很感兴趣，通过查看他们的代码()，我发现如果使用roBERTa作为学生模型，他们会冻结位置嵌入，我想知道这是为了什么？def freeze_pos_embeddings(student, args): student.roberta.embeddings.position_embeddings.weight.requires_gradgpt2":
s
浏览 1修改于2020-04-25得票数 1
我试图使用AutoTokenizer.from_pretrained('roberta-base')使用罗伯塔基模型，但我得到了以下错误：
RuntimeError: Failed to import
浏览 40提问于2021-12-08得票数 2
回答已采纳
在RoBERTa文件“4.4文本编码”一节中提到：
最初的BERT实现(Devlin等人，2019)使用了一个大小为30K的字符级BPE词汇表，该词汇表是在使用启发式标记化规则对输入进行预处理后学习的。我很感谢有人能澄清为什么在RoBERTa的论文中说伯特使用BPE？
浏览 0提问于2020-12-11得票数 0
回答已采纳
import AutoTokenizer, AutoModeltokenizer = AutoTokenizer.from_pretrained("mmoradi/Robust-Biomed-RoBERTa-RelationClassification")
inputs
浏览 4提问于2021-10-22得票数 1
回答已采纳
我已经建立了一个人工语料库(不是真正的语言)，每个文档都是由多个句子组成的，这些句子也不是真正的自然语言句子。如何标记文档？像这样：<s>sentence1</s><s>sentence2</s>如何训练？
我是否需要训练传销机或NSP或两者兼备？
浏览 0提问于2022-02-15得票数 1
我想把Roberta模型应用到文本相似性上。给定一对句子，输入应采用<s> A </s></s> B </s>格式。，即from transformers import AutoTokenizer, AutoModel
b)
tokenizer =
浏览 5修改于2020-04-15得票数 1
回答已采纳
我使用了XLM-RoBERTa标记器来获取一系列句子的ID，例如： ["loving is great", "This is another example"] 我发现在我的句子中，返回的ID并不总是与空格分隔的标记数量一样多
浏览 35修改于2020-10-25得票数 2
回答已采纳
huggingface-transformers中的Roberta Tokenizer将罗伯塔的标记化方法描述为： - single sequence: ``<s> X </s>``
- pair of
浏览 7提问于2020-04-28得票数 1
回答已采纳
我有一个pytorch lightning代码，当使用bert-base或roberta-base时，它非常适合二进制分类任务，但不能用于roberta-large，即训练损失不会下降。
浏览 0修改于2020-07-16得票数 2
我有一个问题陈述，我希望使用文本输入来预测多个连续输出。我尝试使用HuggingFace库中的“robertaforsequenceclassification”。但文档指出，当最后一层中的输出数超过1时，就会自动使用交叉熵损失，如下所述：。但是，我想在回归设置中使用RMSE损失，最后一层有两个类。人们将如何修改它呢？
浏览 3提问于2020-06-08得票数 2
回答已采纳
使用余弦学习速率调度器(2-3周期/历元)由于RoBERTa模型是针对特定领域的数据进行细化的，因此我们确实期望该模型的性能要好于对一般文本(wiki数据、书籍等)进行培训的预培训-RoBERTa。我们在特定领域的RoBERTa和训练前的罗伯塔上做了这件事。有谁能帮助我们理解为什么基于MLM的模型没有表现得更好？
浏览 0提问于2023-04-18得票数 1
我使用transformers从头开始训练了一个RoBERTa模型，但是我无法使用
Iteration: 100%|████████14:16<00:00, 16952.06s/it] save roberta.20200717.zip o
浏览 16修改于2020-11-21得票数 1
我想使用领域语料库(情感相关文本)预训练BERT和RoBERTa传销。使用50k~100k单词需要多长时间。由于RoBERTa没有经过训练来预测下一个句子的目标，比BERT少一个训练目标，并且具有更大的小批量和学习率，我假设RoBERTa会快得多？
浏览 28修改于2020-03-26得票数 1
回答已采纳
RobertaForSequenceClassificationtokenizer = RobertaTokenizer.from_pretrained('roberta-base')print
浏览 62提问于2021-06-27得票数 0
回答已采纳
我试图在AWS上的EC2实例上使用Torch (和Roberta语言模型)运行一些代码。编译似乎失败了，有人有指针要修复吗？试图装载罗伯塔Using cache found in /home/
浏览 15提问于2020-12-23得票数 1
回答已采纳
from transformers import AutoModel, AutoTokenizer
tokenizer1 = AutoTokenizer.from_pretrained("roberta-base
浏览 4修改于2020-04-10得票数 13
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号