使用tfrecord的子集

Question

是否可以使用一个现有的tfrecord或用于生成它的标注的子集

我正在训练几个具有相同数据的模型，每个模型只需要一个或一个用于最初创建tfrecord的标签子集。tfrecord非常大，所以我想为每个模型的标签子集创建一个。

Answer 1

tf.data.Dataset具有filter、skip和take方法，您可能会发现这些方法很有用。或者，您可以将原始数据集拆分到多个tfrecord文件中，并基于这些文件的子集创建一个Dataset。

如果您乐于使用tensorflow_datasets重新创建数据，splits也可能会满足您的需求。