为什么在某些变压器网络中仍然使用卷积进行语音增强？

Question

所以我在注意是你所需要的上读到，变形金刚完全消除了重复和卷积的需要。但是，我已经看到一些TNN(如SepFormer、DPTNet和TSTNN)仍然使用卷积。有什么特别的原因吗？这不违背变形金刚的宗旨吗？

Answer 1

我们在缩聚纸中找到了一些理由：

• 卷积在检测细粒度模式方面优于Transformers :虽然Transformers擅长建模远程全局上下文，但它们提取细粒度本地特征模式的能力较低。另一方面，卷积神经网络(CNNs)利用局部信息，作为实际的视觉计算块。
• 它们结合在一起，变压器和卷积比单独工作更好:最近的工作表明，将卷积和自我注意结合起来比单独使用它们( 14 )更好。同时，他们能够学习定位的本地特性，并使用基于内容的全球交互。