利用MFCC和Mel谱图与CNN

Question

我想得到一些反馈，为什么在许多研究论文中，研究人员通过卷积神经网络(CNN)传递MFCC？从本质上讲，CNN本身就是一个特征提取过程。

任何提示和建议，为什么这一过程是常用的。

谢谢!

Answer 1

MFCC模拟人耳对声音的非线性感知，它近似于人类听觉系统的反应。因此，MFCC在语音识别中得到了广泛的应用。

当CNN被用于特征提取时，原始音频信号并不是CNN中常用的输入。其原因是音频信号本身就容易产生噪声，而且常常受到对预期应用没有用处的频带的污染。因此，利用带通滤波器对信号进行预处理，去除噪声，去除不相关的频带，并从中提取相关特征，是一种普遍的做法。这些特征既可以是时域特征，如振幅包络、均方根能量或过零率，也可以是频域特征；如频带能量比、光谱质心、光谱通量或时频表示；如谱图和梅尔谱图。

然后使用CNN提取这些提取的特征中的局部模式。特别是对于时频表示，二维CNN被用来提取特征，类似于图像识别应用中的特征提取过程。