有没有办法在tensorflow-联邦中模拟通信成本？

Question

我正在致力于优化联合学习中的通信成本。因此，我需要模拟真实的网络延迟并测量通信开销(客户端和服务器之间的通信)。有没有可能用TFF做到这一点？在联合学习环境中，是否有一个现实的通信网络模型？

Answer 1

在执行堆栈中引入网络延迟或延迟目前还不是TFF现成支持的。

然而，在架构上这是绝对可能的。解决类似请求的最新贡献的一个例子是SizingExecutor，它测量在执行层次结构中上下传递的位。在表示客户端的每个执行器上立即放置一个SizingExecutor，然后测量在通过此执行堆栈运行的每个联邦计算中广播和聚合的位；此实现可以在here中找到，并且实际上在public API中公开。

您的愿望与调整执行器并不完全不同，如果您将总位数作为您试图优化的度量，那么调整执行器可能会直接服务于您的目的。然而，如果你更愿意检查分布式计算的其他方面(例如随机数据损坏)，你可以想象通过实现与大小调整执行器类似的功能来实现，尽管也可以想象在计算级别上这样做(客户端随机选择是返回其真实结果还是返回其结果的损坏版本)。

我认为，从设计的角度来看，TFF更希望任何新的执行者保持他们正在执行的计算的语义不变，并倾向于简单地测量属性，如每轮比特，或者直接在计算或算法中引入任何损坏，而不是在这些计算的执行中。客户端可以选择引入的损坏或延迟的类型实际上是任意的；here是最近的一个研究项目的示例，该项目试图通过在某些客户端上插入恶意更新来攻击全局模型。我想，同样的方法也可以用来模拟任何所需的网络属性(例如，一些客户端休眠，一些发送回损坏的更新，等等)。

希望这能有所帮助！