如何以非交互方式使用fairseq interactive.py？

Question

我正在试着用Fairseq把英语翻译成阿拉伯语。但是interactive.py脚本会即时转换文本片段。但是我需要在读取输入文本文件和写入输出文本文件时使用它。我提到了这个GitHub问题-- https://github.com/pytorch/fairseq/issues/858，但它并没有很好地解释如何去做。有什么建议吗？

Answer 1

fairseq-interactive可以使用--input参数从文件中读取行，并将翻译输出为标准输出。

因此，假设我有一个输入文本文件source.txt (其中每个要翻译的句子都在单独的一行上)：

Hello world!
My name is John

您可以运行：

fairseq-interactive --input=source.txt [all-your-fairseq-parameters] > target.txt

其中，> target.txt表示“将fairseq-interactive生成的所有(标准)输出放入target.txt文件”。如果该文件尚不存在，则会创建该文件。

对于英语到法语的模型，它将生成一个如下所示的文件target.txt (实际输出可能会根据您的模型、配置和Fairseq版本而有所不同)：

S-0     Hello world!
W-0     0.080   seconds
H-0     -0.43813419342041016    Bonj@@ our le monde !
D-0     -0.43813419342041016    Bonjour le monde !
P-0     -0.1532 -1.7157 -0.0805 -0.0838 -0.1575
S-1     My name is John
W-1     0.080   seconds
H-1     -0.3272092938423157     Je m' appelle John .
D-1     -0.3272092938423157     Je m'appelle John.
P-2     -0.3580 -0.2207 -0.0398 -0.1649 -1.0216 -0.1583

要仅保留翻译内容(以D-开头的行)，则必须过滤此文件的内容。例如，您可以使用以下命令：

grep -P "D-[0-9]+" target.txt | cut -f3 > only_translations.txt

但是您可以将所有命令合并到一行中：

fairseq-interactive --input=source.txt [all-your-fairseq-parameters] | grep -P "D-[0-9]+" | cut -f3 > target.txt

(实际命令将取决于target.txt的实际结构。)

最后，要知道您可以使用--input=-从标准输入中读取输入。