FairSeq -样本损失加权

Question

我正在尝试用fairseq学习seq2seq模型。我希望每个样本都有不同的损失权重，因此模型将尝试更好地拟合示例。正确的做法是什么？也许有更好的库可以达到这个目的？

Answer 1

我不确定FairSeq，但它可以在Marian中简单地完成，默认情况下，它有一个选项--data-weighting，您可以在其中提供一个带有权重列表的文件。OpenNMT提供了类似的功能，但具有按语料库加权的功能。