张量流模型的保存与模型平均计算

Question

我正在尝试实现和复制在纸使用多个筒仓的临床记录对伯特进行联合预训练和微调中属于联邦Bert的结果。

我更喜欢使用伯特预培训的TensorFlow代码。

对于以联邦方式进行的培训，最初，我将数据集分为3个不同的筒仓(每个筒仓包含50名患者的出院总结，使用的是模拟-3数据)。然后使用TensorFlow实现对每个数据集的Bert模型进行预训练，从Bert的正式发布开始进行Bert预培训。

现在我有三种不同的模型，它们都是从不同的数据集中预先训练出来的。对于模型聚合，我需要所有三种模型的平均值。由于每个筒仓的音符数量是相等的，所以为了平均，我需要对所有模型进行求和，然后除以3。如何像论文中所做的那样获得模型的avg？，有人，请给我一些见解来正确地编码。平均模型权重的思想取自于论文联合学习:提高沟通效率的策略。

我对deep learning和TensorFlow非常陌生。所以请有人帮我找出这个问题，并为TensorFlow推荐一些阅读材料。

本文指出，在临床数据共享的同时克服隐私和监管问题是一个很好的选择。我的问题是

可以从这个model.ckpt文件中获取敏感数据吗？，然后是如何获得的？

任何帮助都将不胜感激。谢谢..。

Answer 1

模型平均可以通过多种方式进行。最简单的方法是在每个筒仓中拥有每个体系结构的完整副本，并取其参数分数的(加权)平均值，并将其作为完整模型的参数。然而，有一些实际问题(延迟、网络速度、设备的计算能力)可能会禁止这一点，因此使用了更复杂的解决方案，其中仅针对变量子集等进行培训(如您所引用的论文)。

通常不可能从dataset中检索信息(其他信息敏感)，只从参数更新到对其进行微调的模型。