创建联邦学习数据

Question

我正在尝试创建一个联邦学习数据集，我想稍后使用它来训练一组模型(不是针对Fed-avg)。我正在尝试以下方法(此代码可在TFF的官方教程中找到)：

emnist_train, emnist_test = tff.simulation.datasets.emnist.load_data()

然后定义一些用于预处理的助手：

    def preprocess(dataset):

  def batch_format_fn(element):
    """Flatten a batch `pixels` and return the features as an `OrderedDict`."""
    return collections.OrderedDict(
        x=tf.reshape(element['pixels'], [-1, 784]),
        y=tf.reshape(element['label'], [-1, 1]))

  return dataset.repeat(NUM_EPOCHS).shuffle(SHUFFLE_BUFFER, seed=1).batch(
      BATCH_SIZE).map(batch_format_fn).prefetch(PREFETCH_BUFFER)


def make_federated_data(client_data, client_ids):
  return [
      preprocess(client_data.create_tf_dataset_for_client(x))
      for x in client_ids
  ]

下一步是创建联邦数据，如下所示：

sample_clients = emnist_train.client_ids[0:NUM_CLIENTS]

federated_train_data = make_federated_data(emnist_train, sample_clients)

federated_train_data是一个项目列表，每个项目都是OrderedDict的集合。每个OrderedDict都有一组X(像素)，Y(标签)。我需要提取X，Y，并将它们提供给Keras模型，如下所示：

one_client_data = tfds.as_numpy(federated_train_data[0])
pd = pd.DataFrame(one_client_data)
X = pd['x']
Y = pd['y']
def create_keras_model():
  return tf.keras.models.Sequential([
      tf.keras.layers.InputLayer(input_shape=(784,)),
      tf.keras.layers.Dense(10, kernel_initializer='zeros'),
      tf.keras.layers.Softmax(),
  ])

model = create_keras_model()
model.compile(loss='sparse_categorical_crossentropy',
              optimizer='adam',
              metrics=['accuracy'])

# Fit data to model
history = model.fit(X, Y,
            batch_size=32,
            epochs=5,
            verbose=1)

但问题是我搞错了

ValueError: Failed to convert a NumPy array to a Tensor (Unsupported object type numpy.ndarray).

任何想法！

Answer 1

首先，这是一个小问题，因为您正在用一个dataframe覆盖您的熊猫进口：

pd = pd.DataFrame(one_client_data)

所以，让我们将其改为df：

df = pd.DataFrame(one_client_data)
X = df['x']
Y = df['y']

其次，这给你X和Y作为一个pd.Series，而不是一个numpy数组。要将这些输入到numpy数组中，请执行以下操作。这将清除您的值错误。在此之后，您可能会对数据的形状产生一些不匹配模型形状的问题，但这是另一个问题。

X = np.array(X.tolist())
Y = np.array(Y.tolist())