NMT模型上异常高的BLEU分数

Question

这是关于英语/爱尔兰语对的神经机器翻译项目。在过去的一个多月里，我一直在努力训练一个良好的基线来进行“实验”。我有一个~850 k句的语料库(不幸的是，爱尔兰语非常有限)。当我和BLEU一起训练和评估时，我得到了65.02分，这显然是荒谬的错误。这是我的费尔塞克火车设置：

!CUDA_VISIBLE_DEVICES=0 fairseq-train data-bin-full_corp/MayNMT \
  --lr 5e-4 --lr-scheduler inverse_sqrt --optimizer adam\
  --clip-norm 0.1 --dropout 0.2 --max-tokens 4096 \
  --arch transformer --save-dir checkpoints/full-tran

我知道不是每个人都会在NLP中使用Fairseq，但我希望争论是不言自明的。

我删除了数据集(转换为一个仅接受唯一条目的Python )，因此我不认为问题是dev/ set()和测试集包含重复的条目，但我不知道是什么原因造成的。有些人认为，过度适应可能是一个原因，但我认为，这将只会影响BLEU，如果开发人员设置共享的培训项目。我自己也想找出这个问题，但是没有太多地方覆盖NMT，更不用说BLEU了。

Answer 1

根据最近的出版物的说法，在英语→爱尔兰语中，BLEU的分数不是不可能达到你的那样高。然而，在没有任何其他知识的情况下，它们显然显得太高了。

从命令行参数来看，似乎没有任何明显的问题。

正如您已经指出的，最可能的解释是验证/测试和培训之间的数据泄漏。注意，虽然删除了精确的副本，但可能会得到不被注意到的部分匹配。您可能需要研究不同的相似性度量。最直接的是贾卡德相似性。