具有LM头部的GPT2Model和GPT2Model具有不同的注意重量维度

Question

>>> from transformers import GPT2Tokenizer, GPT2Model
>>> model = GPT2Model.from_pretrained("gpt2",output_attentions=True)
>>> tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
>>> text = "a,b,c"
>>> inputs = tokenizer.encode_plus(text,return_tensors='pt',add_special_tokens=True)
>>> input_ids = inputs['input_ids']
>>> attention = model(input_ids)[-1]
>>> attention[0].shape
torch.Size([1, 12, 5, 5])
>>> import transformers
>>> m2 = transformers.AutoModelWithLMHead.from_pretrained("gpt2")
>>> at2 = m2(input_ids)[-1]
>>> at2[0].shape
torch.Size([2, 1, 12, 5, 64])

作为参考，attention是一个元组，attention[0]是它的第一层。

我可以在torch.Size([2, 1, 12, 5, 64])和torch.Size([1, 12, 5, 5])中映射除2之外的所有内容。2是什么意思？

我从bertviz github存储库获得以下定义：

            attention: list of ``torch.FloatTensor``(one for each layer) of shape
                ``(batch_size(must be 1), num_heads, sequence_length, sequence_length)``

Answer 1

>>> m3 = m2.from_pretrained("gpt2",output_attentions=True)
>>> m3(inputs)[-1][0].shape
torch.Size([1, 12, 5, 5])

奇怪的是，transformers.AutoModelWithLMHead.from_pretrained不允许output_attentions成为其args之一。

此外，在运行时编辑配置不起作用(m2.config.output_attentions = True不起作用)。