GIZA++：禁止零句长度0

Question

当我在测试数据集上使用一个错误时，我一直在使用GIZA++来翻译句子:错误:禁止零句长度0“。有什么办法避免这个错误吗？

Answer 1

我对en语料库也有同样的问题。(英语-越南语)因为你的语料库数据太长或不干净。

你应该清理你的语料库数据。

它将限制句子长度为80。这是摩西的命令。

~/mosesdecoder/scripts/training/clean-corpus-n.perl 
~/corpus/train en vi 
~/corpus/train.clean 1 80

或者你可以手动调整。

试着把每一行的长度缩短到少于100个字符或80个单词。