RNN中的固定效应或随机效应

Question

最近，我开始关注在深度学习中实现固定效应和随机效应(来自计量经济学)。

在阅读了一些文章后，我意识到大多数只是使用基于RNN的基于面板数据的神经网络。它们不被认为是面板数据结构，例如固定效应或随机效应。

据我所知，在LSTM的情况下，每个单元中的权重对于所有面板对象都是相同的。没有考虑到群体平均水平。从面板数据分析的角度来看，这似乎是不恰当的。我认为在深度学习中应该考虑固定效应、随机效应或多层次模型。尽管有一些文章可以将这些模型应用于深度学习(https://arxiv.org/pdf/1702.06512.pdf，http://willwolf.io/2017/06/15/random-effects-neural-networks/)，但大多数数据科学家似乎认为它并不重要或没有必要。

因此，我想听听专家关于在深度学习中使用固定或随机效应的意见。

谢谢。

Answer 1

这是一个有趣的问题。固定效应已经在线性模型世界(类似OLS)中发展起来。因此，也许在高度非线性的世界(如NN)中的扭曲是有点不同的。据我所知，NN还没有对计量经济学产生太大的影响。因此，似乎还需要将一些实证概念联系起来。

让我们考虑一下固定效应(FE)。FE使用应用FE的每一个主题的“内变”来估计某物。那么，在变化范围内(从时间t=1到2，例如x2i - x1i)并手动将其插入NN有什么问题呢？记住，没有任何隐藏层的NN只是一个类似线性的模型。如果您这样做，您可能不需要一个LSTM层，因为与此设置相关的是从t1到t2的更改。我想正常的致密层就行了。

另一种选择是使用“虚拟FE"，因此只需插入一个虚拟的每个对象都要控制固定的效果。这种数据表示可能在LSTM设置中很好地工作。然而，我认为在这种情况下，我们不能严格地说一个固定的效应模型，因为根据NN的性质，每个主题都没有“单独的常数项”(就像OLS中的那样)。但这真的是个问题吗？我不这么认为，因为你最终要做的是，分别控制每一个主题。

一个更基本的问题是你要对结果做些什么。经济学中的FE主要用于因果模型(FE应确保满足某些模型假设)。在NN中--通常是一种预测模型设置--有太多的“系数”(权重)，无法做出有意义的因果陈述。因此，我想这并不是因为FE的严格计量含义，而是关于神经网络中对FE的充分控制。在这种情况下，为每个主题添加虚拟模型应该是一个可行的解决方案。