如果没有bpe，如何使用fairseq的翻译功能？

Question

我使用的是预先训练好的日语翻译模型，通过fairseq http://www.kecl.ntt.co.jp/icl/lirg/jparacrawl/进行训练。

其中包含以下文件

model.pt dict.en.txt dict.ja.txt spm.en.nopretok.model spm.en.nopretok.vocab spm.ja.nopretok.model spm.ja.nopretok.vocab

我想用

  from fairseq.models.transformer import TransformerModel
    zh2en = TransformerModel.from_pretrained(
      '/path/to/checkpoints',
      checkpoint_file='checkpoint_best.pt',
      data_name_or_path='data-bin/wmt17_zh_en_full',
      bpe='subword_nmt',
      bpe_codes='data-bin/wmt17_zh_en_full/zh.code'
    )

这个函数是fairseq的，但我没有BPE代码文件。

请建议如何在python中使用fairseq来使用这个预先确定的模型。

Answer 1

我找到了vocab.model文件，它使用了句点符号