多轮使用tff.learning.build_federated_evaluation

Question

我想使用tff.learning.build_federated_evaluation评估我的联邦学习模型。一开始，得到了合理的结果。但是，我是否可以运行多轮评估过程(如在训练阶段完成这里)，以获得更稳定的结果？

评价代码如下。

train, test = source.train_test_client_split(source, 2,seed=0)
test_client_ids = test.client_ids

test_data= [test.create_tf_dataset_from_all_clients().map(reshape_data)
.batch(batch_size=10)
 for c in test_client_ids]

eval_process=tff.learning.build_federated_evaluation(model_fn)

eval_process(state.model, test_data)

评价结果。

OrderedDict([('eval',
              OrderedDict([('sparse_categorical_accuracy', 0.53447974),
                           ('loss', 1.0230521),
                           ('num_examples', 11514),
                           ('num_batches', 1152)]))])

Answer 1

在同一个eval_process上运行多轮test_data不会产生新的信息，而且每次都会产生相同的结果。这些结果在不改变的意义上是稳定的，但可能并不有趣。

在多轮上运行eval_process，每一轮使用不同的test_data，可以认为是对来自较大人群的一组客户进行抽样，以获得模型质量的估计值。从多个样本中计算许多估计值可以使用统计技术，通过更多的轮数可以得到更稳定的模型质量估计。

这大概是1和2中使用的技术，它们描述了以后的聚合服务。