无法加载XLNetForSequenceClassification预训练模型

Question

我尝试加载预先训练好的XLNet，但是发生了这种情况。我以前试过这个方法，但是现在不行了。有什么建议可以解决这个问题吗？

model = XLNetForSequenceClassification.from_pretrained("xlnet-large-cased", num_labels = 2)
model.to(device)

---------------------------------------------------------------------------
RuntimeError                              Traceback (most recent call last)
<ipython-input-55-d6f698a3714b> in <module>()
----> 1 model = XLNetForSequenceClassification.from_pretrained("xlnet-large-cased", num_labels = 2)
      2 model.to(device)

3 frames
/usr/local/lib/python3.6/dist-packages/torch/nn/modules/sparse.py in __init__(self, num_embeddings, embedding_dim, padding_idx, max_norm, norm_type, scale_grad_by_freq, sparse, _weight)
     95         self.scale_grad_by_freq = scale_grad_by_freq
     96         if _weight is None:
---> 97             self.weight = Parameter(torch.Tensor(num_embeddings, embedding_dim))
     98             self.reset_parameters()
     99         else:

RuntimeError: Trying to create tensor with negative dimension -1: [-1, 1024]

Answer 1

您应该从transformers导入XLNetForSequenceClassification，而不是从pytorch-transformers导入。首先，确保安装了transformers：

> pip install transformers

然后，在你的代码中：

from transformers import XLNetForSequenceClassification
model = XLNetForSequenceClassification.from_pretrained("xlnet-large-cased", num_labels = 2)

这应该是可行的。

Answer 2

如果您没有在内部更改任何内容，则很可能是版本不匹配。您有没有升级相关的模块？返回到以前的版本，如果你有解决它的方法。

Pytorch Quantization RuntimeError: Trying to create tensor with negative dimension