注意机制中的矩阵运算

Question

我正在读一篇关于变压器机器学习模型应用于金融的文章。我试图理解架构背后的数学，但我未能理解这部分：

​

​

特别是，我不明白为什么操作之间的尺寸不匹配。根据我的理解：

1. step (8)：U应该是M(d_model，1)
2. step (9)：这是不可能的，因为矩阵乘法维数不匹配执行运算: M(d_model，K)。M(1，d_model)

以下是研究的全部内容：

​

​

我想，我在用这个符号表示什么

或者用“非线性投影矩阵M到u”的句子。

有人能给我一点启发吗？

基于

变压器的股票走势预测注意网，2022年，张秋月，赵琴，张云峰，方旭宝，CaimingZhang，刘佩德，刘培德

Answer 1

如果你没有代码，或者你找到了作者，用这段文字，我们必须猜测错误在哪里。

我猜

1. $W_m^M$在方程中，是$W_m^M$
2. 的最大输出实际上是计算$u^T$，而不是$u$
3. eq。9应该是$M^T u^T$，而不是$M u^T$

另一个假设是，他们有描述的方程式，他们有一个有效的代码，当他们写论文时，他们不正确地计算出矩阵的维数。

我不知道我是否会相信一篇论文的出版日期在未来，和零引用。

https://www.sciencedirect.com/science/article/abs/pii/S0957417422006170#！

​