使用SRILM创建僧伽罗语语言模型的问题

Question

我正在尝试用口袋狮身人面像创建一个僧伽罗语语音识别系统。我使用SRILM工具来创建语言模型。我用来创建语言模型的源文件是Here。我在windows 8.1上使用cygwin来运行SRILM 1.7.1。但是一旦我运行了这个命令

ngram-count -vocab sinhalalexicon.txt -text sinhalacorpus.Train -order 3     -write sinhala.count -unk

我得到了

iconv: Invalid or incomplete multibyte or wide character
iconv: Invalid or incomplete multibyte or wide character

我在这里做错了什么？使用Notepad++手动创建了sinhalacorpus.Train文件

Answer 1

我找到了我的问题的解决方案。一旦我将语料库和词典文件转换为BOM Unix格式的，并将编码更改为UTF-8，而不使用，它就可以工作了。我使用Notepad++进行更改。