并行神经网络

Question

我试图以这样的方式制作并行神经网络：

1. 创建网络和培训集
2. 将训练集分成N个部分(每个线程一组)
3. 向每个线程发送网络副本和部分培训数据。
4. 在每个线程上训练网络
5. 组合N个网络中的网络神经元权重(每个线程)
6. 如果不结束，条件转到3。

我的问题是:如何将神经网络的权重组合成一个？

Answer 1

有趣的方法，我认为可以有两种方法：-加权平均值-加权由逆RMSE/MSE加权。

Answer 2

Google所做的就是让每个线程/节点只训练神经元的一个子集。然后，很容易将它们组合回来，因为每个神经元只写一次。

但是，你必须定期地把它们结合起来，这样它们就不会太分散了。

他们用来划分网络的单位是一个神经元的“列”。