在CNN中使用MFCC和MFCC Delta特征

Question

许多研究都将MFCC以及MFCC三角洲和双三角直接提供给CNN进行音频分类。我的问题是，MFCC Deltas是否与MFCC矩阵连在一起？大多数文件只是简单地说明他们使用MFCC + MFCC Delta + MFCC Double Delta和加号是留给解释！

Answer 1

是的，达美和德尔塔变体是连在一起的。但是，根据模型类型，细节可能有所不同：

如果模型采用一维(特征，)输入(如多层感知器、logistic回归、随机林等)，则将增量系数连在一起。因此，特性就是mfcc2 1，mfcc2 2，dmfcc2 1，dmfcc2 2。。

对于输入像RNN那样的2d (时间，特征)输入的模型，则在特征轴上连接。

对于像CNN这样采用3d (时间、特征、通道)输入的模型，则δ系数通常是通道维数中的自己的平面。这就保证了增量MFCC系数与对应MFCC系数在同一时刻的x特征位置，这是卷积核最容易利用的。