在gpt2中使用past

Question

我正在尝试运行huggingface文档中的一个脚本示例：

import torch

tokenizer = GPT2Tokenizer.from_pretrained("gpt2")
model = GPT2LMHeadModel.from_pretrained('gpt2')

generated = tokenizer.encode("The Manhattan bridge")
context = torch.tensor([generated])
past = None

for i in range(100):
    print(i)
    output, past = model(context, past=past)
    token = torch.argmax(output[..., -1, :])

    generated += [token.tolist()]
    context = token.unsqueeze(0)

sequence = tokenizer.decode(generated)

print(sequence)

但我有一个错误：

TypeError: forward() got an unexpected keyword argument 'past'

我应该如何更改才能使用'past'？

Answer 1

尝试将past更新为past_key_values。我相信文档已经被修改了。