如何从小批量中获取原始索引？

Question

假设我有一个作为以下代码的结果的小型批处理：

test_minibatch = reader_test.next_minibatch(10)

如何获取此小批量的索引作为对原始数据的引用？假设我的测试数据集是100行。我如何知道100个原始行中的哪10行在小批量中？

Answer 1

您是否可以创建具有唯一Id(通常称为GUID / UUID)的列，并在阅读器中读取该列。这是将样本映射到主集的一种方法。它可以很好地扩展跨越多个磁盘和分布式计算框架的非常大的数据集。