Tensorflow RNN输入大小

Question

我正在尝试使用tensorflow创建一个递归神经网络。我的代码是这样的：

import tensorflow as tf

rnn_cell = tf.nn.rnn_cell.GRUCell(3)

inputs = [tf.constant([[0, 1]], dtype=tf.float32), tf.constant([[2, 3]], dtype=tf.float32)]

outputs, end = tf.nn.rnn(rnn_cell, inputs, dtype=tf.float32)

现在，一切运行得很好。然而，我对实际发生的事情感到相当困惑。输出维度总是批量大小x rnn单元格隐藏状态的大小-它们如何完全独立于输入大小？

如果我的理解是正确的，那么在每个步骤中，输入被连接到rnn的隐藏状态，然后乘以权重矩阵(以及其他操作)。这意味着权重矩阵的维度需要依赖于输入大小，这是不可能的，因为rnn_cell甚至在声明输入之前就创建了！

Answer 1

在看到关于tensorflow的GRU实现的问题的answer之后，我意识到发生了什么。与我的直觉相反，GRUCell构造函数根本不会创建任何权重或偏差变量。相反，它创建自己的变量作用域，然后在实际调用时按需实例化变量。Tensorflow的变量作用域机制确保变量只创建一次，并在随后对GRU的调用中共享。

我不确定为什么他们决定使用这个令人困惑的实现，据我所知，这是没有文档记录的。对我来说，使用python的对象级变量作用域将tensorflow变量封装在GRUCell本身中似乎比依赖额外的隐式作用域机制更合适。