联邦学习的批归一化

Question

如您所知，在联邦学习环境中，客户使用他们的非i.i.d数据来培训联合全局模型的本地版本，并且每个人都提交对全局模型的更新，该模型将被聚合到下一个联合全局模型中。

在训练阶段，由批处理归一化层进行的规范化是基于本地批处理统计量的。我的问题是，如何为全局模型聚合这些本地统计数据(批处理规范化参数)，以便它们代表所有数据的全局统计？我指的是每一批规范化层的beta、alpha、移动均值和方差。我们应该把它们当作重量和完全连接(或Conv)层的偏倚，而只是简单地平均它们吗？

Answer 1

一种方法是简单地平均所有东西，如FedAvg预印中所建议的那样。

最近的一些预印建议只将学习到的参数中继回中央服务器，并保持本地批处理规范化(BN)统计信息分离，即正如SiloBN预印所提议的。

本文件的作者声称：

保持BN统计量的地方允许联邦训练一个模型对不同中心的异质性具有鲁棒性，因为本地统计可以保证中间激活在不同中心之间的中心值相同。

为了解释它们，它们将BN统计数据区分为本地域信息的编码，而所学习的参数则是域不变的。我相信他们对中继信息的聚合方法只是简单的平均。

这是他们的第一个数字供参考：