深层神经计算机(DNC)中LSTM变量的维度

Question

我正在尝试用天然纸 0.4.0实现Deep的DNC - PyTorch。

在实现LSTM变体时，他们使用了I，在尺寸上遇到了一些问题。

简化假设BATCH=1。

他们在文件中列出的方程式如下：

​

其中，[x;h]意味着将x和h串联成一个向量，而i、f和o是列向量。

我的问题是如何计算状态s_t。

第二个附录是通过将i与列向量相乘得到的，结果要么是标量(转置i，然后做标量积)，要么是错误的(两个列向量乘以)。

，所以状态导致单个标量.

同样的推理，隐藏状态h_t也是标量，但它必须是列向量。

显然我错了，但我不知道在哪里。

Answer 1

通过看维基百科，我想我已经弄明白了。

这是本文中所述标准LSTM的正式实施：

​

circle代表逐元素产品.

通过将该积应用于DNC方程的相应部分(s_t和o_t)，使尺寸工作。