我是语音识别的新手,我正在寻找一种方法,以音频/wav文件的形式将一个句子(或多个句子)拆分为单个单词?这听起来像是一个标准问题,所以我想知道业内人士是如何处理它的。
ps:是的,这个问题是三年前提出的,但我正在寻找一个使用更新的库(即pytorch和tensorflow 2.0)的最新答案。谢谢!
发布于 2019-10-02 16:10:23
这并不是那么微不足道。
您想要的就是所谓的对齐。即,其中每个音频帧与单词(或子词、字符或更好的单个音素)对齐。
最合理的方法将需要一个标准的传统语音识别系统。最简单的方法是使用隐马尔可夫模型( HMM )系统,由老式的HMM或神经网络(称为混合HMM-NN模型)支持。这也需要一个词典(音素到单词的映射)。通常你会使用所有这些的现有实现,例如Kaldi或RASR,因为这并不容易实现。我还没有看到这方面的纯TF实现。然后,该软件通过HMM计算最佳可能的对齐路径(即,根据训练的模型,具有最高的概率)。如果你知道地面真实词,这就是维特比算法,来计算这条最佳路径。否则,您将进行一些解码(使用波束搜索)。
你还可以做什么,但这将是更老套的,并且不太好(对于这个获得对齐的任务):使用一些端到端模型,例如带注意力的编码器-解码器,或CTC。对于有注意力的编码器-解码器,你可以使用注意力权重来很好地猜测单词的位置(然后你也许可以猜测边界在哪里)。CTC也是如此。但这将是不准确的。但这是您可以在纯TF中轻松实现的东西。
在任何情况下,实现本身并不是困难的部分(尽管仍然不简单)。你首先需要理解它背后的所有理论。也许StackOverflow不是问这个问题的合适地方。可以通读Kaldi或RASR文档,或者观看一些关于语音识别的讲座,或者阅读一本关于该主题的书。
https://stackoverflow.com/questions/58194657
复制相似问题