如何在更多的数据上训练LM？

Question

我希望用returnn来训练一个新的lm来获得更多的数据。但是我不知道tain和dev的确切形式。

/work/asr3/irie/data/librispeech/lm_bpe/librispeech-lm-norm.bpe.txt.gz

其次，我想知道为什么train_num_seqs等于40418260，而librispeech训练数据集只有281241语句。等待你的回复

Answer 1

您可以下载LM模型here。

LM列车数据可从official page下载。它可能需要一些后处理来准备文件librispeech-lm-nor.bpe.txt.gz，但这应该很简单。

cf函数使用some tool of us，但您可以忽略它。去掉它就行了。

另外，请参阅您在here上发布的GitHub问题中的讨论。