如何在tensorflow/keras中从下载的tar.gz文件中加载数据？

Question

Tensorflow数据集或tfd自动开始下载我想要的数据。我在我的系统中下载了cifar10。我可以使用: torchvision.datasets.CIFAR10('path/to/directory'，.，download=False直接将数据加载到py手电中

是否有与此类似的tensorflow或keras？

Answer 1

我认为您能做的最好的就是首先提取tar文件：

import tarfile

if fname.endswith("tar.gz"):
    tar = tarfile.open(fname, "r:gz")
    tar.extractall()
    tar.close()
elif fname.endswith("tar"):
    tar = tarfile.open(fname, "r:")
    tar.extractall()
    tar.close()

然后访问模型数据并使用keras加载数据：

model

Answer 2

发布另一种方式从本地加载文件，以供稍后发现文件的人使用。

在URL参数中，使用路径提供文件的本地URL。例如，我的D驱动器中有一个文件位于Workspace/DataFiles/tldr.gz文件夹中，那么URL参数的值将如下所示。

path = 'file:///D:/Workspace/DataFiles/tldr.gz'

path_to_downloaded_file = tf.keras.utils.get_file("tldr_data",path, archive_format='tar', untar=True)`

这样，keras就可以识别URL并从文件中加载数据。