关于预培训文本生成任务的问题，似乎预培训不是小模型的工作吗？

Question

我的任务是从句子中生成关键字。

我训练了一个文本生成模型。我掩盖了句子的标记，并预测了整个句子的标记。

预培训batch_size =8和step = 1000000

我还没有观察到训练前的进步。BLEU的成绩是10.5分，没有训练前的分数是10.5分，BLEU的成绩是9.5分。

码

我从

https://github.com/google-research/pegasus/blob/master/pegasus/models/transformer.py#L38

hidden_size = 512 num_encoder_layers =3 num_decoder_layers =3

讨论

任务是从句子中生成关键字。关键词可能不会出现在句子中。因此，输入掩码句子来预测整个句子，不利于关键词的生成任务。输入掩码句子来预测整个句子，与关键词生成任务无关。我说的对吗？这是训练前没有提高BLEU分数的原因吗？

非常感谢。

Answer 1

1，我在多个句子的输入标记中放置了一些零。输出令牌的输出位置应该与输入令牌完全相同，这意味着我应该将填充零保留在输出令牌中。

2、训练前的时间应较长。