如何处理Echo State Networks中的随机化问题？

Question

我正在使用Echo State Networks(ESN)作为强化学习任务中的Q函数。我已经设法在具有特定储层拓扑结构的测试阶段实现了高精度，平均90% (频谱半径=0.9，正则化系数= 10，#输入单元= 2，#输出单元= 1，#储层单元= 8，并且没有泄漏率)。

经过100集的训练，系统在测试阶段达到了较高的准确率。但当我用不同的随机种子初始化网络权重时，它的行为变得非常不稳定，无法像以前那样实现高性能。我想知道如何克服这种随机性问题，并使ESN对其输入和储集器权重的不同随机初始化具有鲁棒性，并且可以很好地推广？

下面是我如何初始化我的网络。从正态分布(均值=0，标准差= 1)中采样的输入权重和储集器权重。输入权重矩阵用统一方差进行归一化，储集层权重用最大绝对特征值除法归一化，再乘以谱半径。

提前感谢

远程访问

Answer 1

我倾向于同意你的评论:你的储备库需要更多的神经元，以增加捕获正确动态的概率。然而，关于你的第二个问题，我想说原理与传统的前馈神经网络没有太大不同，你需要经验参数搜索。更具体地说，对于ESNs，我执行以下操作：

• 如果你的ESN适用于一些随机种子，但不适用于其他随机种子，如果你的ESN过拟合(高训练性能和低测试性能)，增加
• 的大小，增加正则化参数(顺便说一句，我认为这个参数对于你的神经网络来说已经很高了，但这取决于你的数据集)
• 如果你的ESN“遗忘”太快，增加频谱半径。请注意，在某些情况下，即使值大于1也是可以接受的。如果谱半径已经太高，但仍然具有非常短的记忆力，请包括一个漏泄率
• 请注意，您还可以调整储集层权重的稀疏性(更稀疏=更少混乱的行为)