每个模拟设备的学习参数

Question

tensorflow联邦是否支持为不同的模拟设备分配不同的超参数(如批处理大小或学习率)？

Answer 1

目前，您可能会发现这有点不自然，但是的，这样的事情是可能的。

目前支持的一种方法是让每个客户端将其本地学习率作为顶级参数，并在训练中使用该参数。这里的一个虚拟示例(在下面的计算中滑动模型参数)如下所示

@tff.tf_computation(tff.SequenceTyoe(...), tf.float32)
def train_with_learning_rate(ds, lr):
  # run training with `tf.data.Dataset` ds and learning rate lr
  ...

@tff.federated_computation(tff.FederatedType([tff.SequenceType(...), tf.float32])
def run_one_round(datasets_and_lrs):
  return tff.federated_mean(
      tff.federated_map(train_with_learning_rate, datasets_and_lrs))

在这里使用元组列表调用联邦计算，其中元组的第一个元素表示客户端数据，第二个元素表示特定客户端的学习率，这将给出您想要的结果。

这样的事情需要编写定制的联邦计算，特别是可能定义您自己的IterativeProcess。一个类似的迭代过程定义是最近开源的here, link goes to the relevant local client function definition，它允许通过采用额外的整数参数来表示舍入数，从而在客户端上进行学习率调度，这可能是一个很好的地方。