torch.nn.MultiheadAttention是否包含标准化层和前馈层？

Question

试图找到多头关注的源代码，但找不到任何实现细节。我想知道这个模块是否只包含注意部分而不是整个变压器块(即它不包含正常化层、剩余连接和附加的前馈神经网络)？

Answer 1

根据源代码的说法，答案是否定的。毫不奇怪，MultiheadAttention只实现了注意函数。