将目标文本传递给gpt2和T5以进行微调以学习文本生成任务

Question

我有以下格式的每一行文字：

<text-1> some text-1 <text-2> some text-2 <text-3> some text-3

我想要细调模型学习生成some text-3后，阅读some text-1和some text-2。在GPT2和T5文本生成教程中，我们确实为目标文本(即标签)指定了input-ids，但是对于GPT2，我们没有。

例如，在本T5文本生成教程中，我们可以找到行：

model_inputs["labels"] = labels["input_ids"]

但我在这些GPT2文本生成示例中找不到任何这样的行：

• 拥抱推特演示，
• 拥抱艺术家演示
• GPT2用于文本生成的

Answer 1

请注意：

• 在您的第一和第二 GPT-2链接中，向模型提供数据的逻辑由训练员班处理，这就是他们不需要显式地准备输入和输出数据并将其交给模型的原因。
• 在您的第三条GPT-2链路中，您可以找到将预期输出(即标签)传递到模型的位置(这会在内部转移它们以满足转换器解码器的实际期望)：output = model(input_tensor，labels=input_tensor)

每个实现都是不同的，即使对于相同的模型也是如此。在代码中寻找已知的结构通常是有效的，但有时并不有效，您需要深入研究代码以了解它所做的事情。