RNN的输出

Question

我正在参加由多伦多大学的Geoffrey主持的“用于机器学习的神经网络”课程，第七周有一个小测验，我的答案不同于正确的答案。

问题是这样的：

​

一个问题是，如果Whh权重为负值，而logistic h单位给出0到1之间的值，那么如何得到0到1之间的概率，则它们的线性组合总是为负值。

第二个问题是，我们是否也必须使用反向传播才能得到正确的答案？

我开始处理这个问题的方式如下：

h0 = 1/( 1 + exp(- (Whh * hbias + Wxh*x0)) )

h1 = 1/( 1 + exp(- (Whh * h0 + Wxh*x1)))

y1 = Why * h1

我的哪一个假设是不正确的？

你好，克里斯蒂安

Answer 1

试试这个.

h0 = sigmoid(x0*Wxh + hbias)
h1 = sigmoid(x1*Wxh + Whh*h0 + hbias)
y1 = h1*Why