如何在Android上使用pocketsphinx添加音素识别

Question

我正在做一个关于线索语音的项目(这是一种与失聪或重听人之间使用的交流的视觉系统)。它是一种基于音素的系统，通过在靠近嘴巴的不同位置(代表元音)使用少量的手形(称为线索(代表辅音))，作为朗读的补充，使传统的口语变得容易理解。

我已经学习了有关音素识别(pocketsphinx_continuous)的教程，它在安卓系统上运行良好。我现在在Android上工作，但这个项目的最终目标是让它在谷歌眼镜上工作。最好的情况是在设备上写下语音(更接近实时)和3D头像，它将根据识别的音素再现正确的手形和嘴唇移动。(这就是为什么我需要使用音素，而不是单词it本身)

我读过http://cmusphinx.sourceforge.net/wiki/phonemerecognition，但我对如何为法语音素创建自己的“文件”让它在安卓上工作感到相当困惑。

具体的步骤是什么？我应该创建什么样的文件？

换句话说，有没有可能在语音输入的安卓系统上对音素产生同样的pocketsphinx_continuous结果？

我希望你能指导我！

纪劳姆

Answer 1

最新的pocketsphinx demo包含语音识别模式，通过"phones“搜索激活，详情请参阅源码：

https://github.com/cmusphinx/pocketsphinx-android-demo

要在法语中使用它，您需要使用法语声学模型更新它：

http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/French%20F0%20Broadcast%20News%20Acoustic%20Model/lium_french_f0.tar.gz/download

并使用法语语音语言模型：

http://sourceforge.net/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/French%20Language%20Model/fr-phone.lm.dmp/download

如下所示：

    recognizer = defaultSetup()
            .setAcousticModel(new File(modelsDir, "hmm/french");
            .setBoolean("-allphone_ci", true)
            .getRecognizer();
    // Phonetic search
    File phoneticModel = new File(modelsDir, "phone/fr-phone.lm.dmp");
    recognizer.addAllphoneSearch(PHONE_SEARCH, phoneticModel);

我怀疑它是否能在谷歌眼镜上很好地工作，但它似乎不是一个非常强大的设备。