我目前正在使用傅里叶变换结合Keras进行语音识别(说话人识别)。我听说MFCC是语音识别的更好的选择,但我不确定如何使用它。
我在python (3)中使用librosa来提取20个MFCC特征。我的问题是:我应该使用哪些MFCC功能来识别说话人?
除此之外,我不确定如何实现这些功能。我要做的是获得必要的特征,并为神经网络做一个长向量输入。然而,也可以显示颜色,所以图像识别也是可能的,还是更多地针对语音,而不是说话人识别?
简而言之,我不确定我应该从哪里开始,因为我在图像识别方面经验不是很丰富,也不知道从哪里开始。
提前感谢!!
发布于 2018-12-04 19:26:00
我的问题是:我应该使用哪些MFCC功能来识别说话人?
我要说的是,它们都用上了。从技术上讲,MFCC特征是从不同的滤波器组输出的。很难说它们中的哪一个是有用的。
除此之外,我不确定如何实现这些功能。我要做的是获得必要的特征,并为神经网络做一个长向量输入。
实际上,当您提取N个样本的MFCC时,您会得到一个类似于N x T x 20的数组,T表示经过MFCC处理后的音频信号中的帧数。我建议使用Sequence classification with LSTM。这将提供更好的结果。
发布于 2018-12-12 13:54:54
除此之外,我不确定如何实现这些功能。我要做的是获得必要的特征,并为神经网络做一个长向量输入。
对于每个样本,你必须有一个像N x T X no_mfccs (在你的例子中是no_mfccs=20)这样的MFCC的2D矩阵;为了使它成为一个单一的向量,不同的研究人员采用均值、方差、IQR等统计数据来降低特征维度。一些人还使用多元回归对其进行建模,还有一些人将其拟合为高斯混合模型。这取决于下一阶段。在您的示例中,可以使用统计数据将其转换为单个向量
或者,正如Parthosarathi所说,您可以使用LSTM来保存跨时间段的连续信息。
然而,也可以显示颜色,所以图像识别也是可能的,或者这更多地针对语音,而不是说话人识别?
我不建议您使用频谱图(图像)作为神经网络的特征向量,因为视觉图像和频谱图不会以相同的方式累积视觉对象和声音事件信息。
当您将图像馈送到神经网络时,它假定图像的特征(像素值)具有相同的含义,而不管它们位于何处。但是对于谱图来说,特征的位置很重要。
例如,将男性声音的频率调高,可能会将其含义从男人改变为孩子。因此,对于这种形式的数据,2D CNN提供的空间不变性可能不会表现得很好。要了解更多信息,请参阅:What’s wrong with CNNs and spectrograms for audio processing?
发布于 2018-12-17 06:02:31
您可以将MFCC与密集层/多层感知器一起使用,但假设您有足够的训练数据,mel频谱图上的卷积神经网络可能会表现得更好。
https://stackoverflow.com/questions/53601892
复制相似问题