TFRecord对RecordIO

Question

TensorFlow对象检测API更喜欢TFRecord文件格式。MXNet和Amazon似乎使用RecordIO格式。这两种二进制文件格式有什么不同，还是它们是相同的？

Answer 1

RecordIO和TFRecord在某种意义上是相同的，它们的目的是相同的--将数据放在一个序列中以进行更快的读取，并且它们都使用底层的协议缓冲区来进行更好的空间分配。

在我看来，RecordIO更像是一个总括术语:一种用于将大量数据存储在一个文件中以便更快读取的格式。有些产品采用"RecordIO“作为一个实际术语，但在Tensorflow中，他们决定使用一个特定的词-- TFRecord。这就是为什么有人称TFRecord为“TensorFlow风味的RecordIO格式”的原因。

目前没有单一的RecordIO格式。Apache的人也称他们的格式为RecordIO，说：“由于没有RecordIO格式的正式规范，RecordIO实现之间往往存在轻微的不兼容性”。它们的RecordIO格式与MXNet使用的格式不同--在每个记录的开头，我没有看到“神奇的数字”。

因此，在结构级别上，Tensorflow的TFRecord和RecordIO of MXNet是不同的文件格式，例如，您不希望MXNet能够读取TFRecord，反之亦然。但在逻辑层面上--它们具有相同的目的，可以被认为是相似的。