看到tensorflow联邦现在可以支持分布式训练,这是非常棒的。我引用了示例here。然而,似乎每个时期的训练数据都是从服务器发送到客户端的,而客户端(Remote_executor_service)不持有任何数据集。它不同于典型的联邦学习场景。所以我想知道我可以将训练数据分别放在每个客户端上吗?
发布于 2020-05-10 20:29:34
需要注意的两件事:
tf.data.Dataset的创建(例如,教程中train_data的定义)可以被认为是创建了一个“读取数据的方法”,而不是实际读取数据本身。例如,向dataset添加.batch()或.map()调用将返回新的配方,但不会实际实现任何数据集示例。直到.reduce()调用或在for循环中迭代dataset时,才实际读取dataset。在本教程中,数据集“配方”将发送给远程员工;在本地培训期间迭代数据集时,将远程读取/实体化数据(数据本身不会发送给远程员工)。https://stackoverflow.com/questions/61393106
复制相似问题