回答情况：
提问时间：
问题标签：
我正在尝试使用以下代码冻结我的屏蔽语言模型的一些层： param.requires_grad = FalseAttributeError: 'RobertaForMaskedLM' object has no attribute 'bert'model = AutoModelForMaskedLM
浏览 11提问于2021-07-15得票数 0
1回答
def __init__(self, freeze_bert=False): @param bert: a BertModel objectto fine-tune the BERT model super(BertClassifier, self).D_in, H, D_out = 768, 50, 2
浏览 10修改于2021-03-11得票数 0
1回答
从我读到的文献来看， Bert Base有12个编码层和12个注意力头。Bert Large有24个编码层和16个注意头。 为什么Bert large有16个关注点？
浏览 17提问于2021-10-04得票数 2
回答已采纳
在本教程中，该代码大约需要2分钟才能完成： # The target vocabulary size reserved_tokens=reserved_tokens, bert_tokenizer_params=bert_tokenizer_params,
# Arguments for `wordpi
浏览 15提问于2022-01-20得票数 0
1回答
BERT输出不是确定性的。我希望当我输入相同的输入时，输出值是确定的，但我的bert模型的输出值正在变化。听起来很别扭，相同的值返回两次，一次。也就是说，一旦出现另一个值，同样的值也会出现并重复。对于BERT实现，我使用huggingface实现的BERT pytorch实现。这是pytorch领域中非常著名的模型ri实现。, cache_dir=self.bert_cache_path)
pretrain_bert = BertModel.from_pretrained
浏览 75修改于2019-06-25得票数 6
回答已采纳
我一直在阅读BERT，并使用BERT嵌入进行分类任务。我读过很多文章，但我对它的理解仍然不是100% (我自学了NLP，所以我对资源的访问可能会受到一些限制)。首先，我将描述我的任务。我计划使用BERT嵌入进行分类，因为它是如何封装含义和语言的。不幸的是，在我的语言(爱尔兰语)中没有伯特模型，所以我研究了自己的训练。我知道伯特基本上是变压器编码器的“延伸”。以下是我的问题：
我认为这是相当明显的，但是要检查的是，预先训练过的BERT嵌入不能应用于不同的语言(标准的嵌入模型是在wiki数据集上为英语训练的，我认为由于明显
浏览 17提问于2020-08-18得票数 2
我正在尝试让BERT从这里获得的代码中进行情感分析：https://github.com/strongio/keras-bert 但是当我尝试建立模型时，我得到了一个错误， 'Module' objecthas no attribute 'variables' 当我试图访问self.bert.variables时，这种情况特别发生在BertLayer类的构建函数中。我尝试使用dir(self.bert)来获取对象的所有属性，但它确实没有一个名为
浏览 13修改于2019-06-28得票数 0
1回答
我是BERT新手，尝试通过coursera课程https://www.coursera.org/projects/fine-tune-bert-tensorflow/学习BERT文本分类微调 基于本课程，我将分别使用'SGD‘和'ADAM’优化器比较BERT-12和BERT-24的文本分类性能。我发现当我使用BERT-12时，结果是正常的。然而，当切换到BERT-24时，虽然准确率很好(9X%)，但召
浏览 12提问于2021-04-18得票数 1
回答已采纳
1回答
我在分类任务中对BERT进行了微调。 bert-as-a-service允许获取单词嵌入，但我想获取输入文本的类。这个问题最好在这里描述：https://github.com/hanxiao/bert-as-service/issues/213 你有什么建议吗？
浏览 10修改于2019-09-19得票数 0
2回答
但现在我想用BERT。在这样的任务中可以使用预训练的BERT嵌入吗，通常我看到的是文本分类，而不是BERT使用的编码器-解码器架构。我从TF集线器访问BERT模型，并从本教程中实现了一个层类，我还相应地使用BERT标记器进行标记化，下面是我的模型
encoder_embeddings = Bert
浏览 3提问于2019-08-21得票数 2
我想为Bert导入BertModelLayer，但我一直收到错误的ImportError: cannot import name 'BertModelLayer' from 'bert'，我已经安装了bertfrom bert import BertModelLayer
BertModelLayer的正确安装是什么？
浏览 101提问于2021-11-15得票数 0
我是bert的初学者，我正在尝试使用GitHub上给出的bert文件：import bert错误是：
浏览 3修改于2019-06-25得票数 6
回答已采纳
1回答
我正在使用火把，并试图解剖以下模型：model = torch.hub.load('huggingface/pytorch-transformers', 'model', 'bert-base-uncased')这个BERT模型有199个不同的命名参数，其中前5个属于嵌入层(第一层)。从BERT模型的替代实施来看，位置嵌入是一个静态转换。这似乎也是在变压器模型中进行位置编码的传统方法。考虑到替代实现，它使用正
浏览 0提问于2021-05-03得票数 3
回答已采纳
1回答
我正在尝试使用BERT进行情感分析，但我怀疑我做错了什么。在我的代码中，我使用bert-for-tf2对bert进行了微调，但在1个时期之后，我获得了42%的准确率，而一个简单的GRU模型获得了大约73%的准确率。我应该做些什么才能有效地使用BERT。import bert-for-tf2 #gets imported as bert but relabeled for claritymo
浏览 0修改于2020-03-21得票数 1
1回答
我试图获得伯特的句子嵌入，但我不太确定我是否做得好。是的，我知道，已经存在这样的工具，如伯特作为服务，但我想自己做，并了解它如何运作。
假设我想从下面的句子"I am“中提取一个从单词嵌入中嵌入的句子。据我所知，伯特以(12，seq_lenght，768)的形式输出。我以(1,768)的形式从最后一个编码器层提取了每个单词嵌入。我现在怀疑的是从这两个字向量中提取句子。如果我有(2,768)，我应该把dim=1和得到一个向量(1,768)吗？或者将两个单词(1,1536)连在一起，并应用一个(平均值)池，得到(1,768)形状的句子向量。我不确定什么是正确的方法是获得这个给定的例子的句子
浏览 2修改于2019-10-01得票数 1
我最近一直在尝试堆叠语言模型，并注意到一些有趣的事情: BERT和XLNet的输出嵌入与输入嵌入不同。例如，下面的代码片段：tok = transformers.BertTokenizer.from_pretrained("bert-base-cased")
sent = torch.tensor(tok.encode("I we
浏览 1修改于2020-12-13得票数 2
1回答
我想对一堆推文进行分类，因此我使用了BERT的拥抱实现。但是，我注意到耳聋BertTokenizer没有为urls使用特殊的令牌。>>> from transformers import BertTokenizer
>>> tokenizer = BertTokenizer.from_pretrained("bert-base-cased
浏览 1提问于2020-10-27得票数 1
回答已采纳
我使用的是Google，下面的导入不知何故不起作用：我得到了这个错误：我试图通过运行以下命令来安装bert：知道如何解决这个错误吗？
浏览 8提问于2019-06-12得票数 11
回答已采纳
1回答
我正在尝试使用BERT进行文档嵌入。我使用的代码是两个源的组合。我使用和。下面是代码，我将每个文档的前510个令牌提供给BERT模型。import pad_sequences
'''# Load pre-trained model (weights)
model = BertModel.
浏览 0修改于2020-08-03得票数 8
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号