和GCS Bucket问题

Question

我正在使用开源的Tensorflow实现研究论文，例如DCGAN-tensorflow。我使用的大多数库都配置为在本地训练模型，但是我想使用Google来训练模型，因为我的笔记本上没有GPU。我发现很难更改代码以支持GCS存储桶。目前，我正在将日志和模型保存到/tmp中，然后运行一个“gsutil”命令，在培训结束时将目录复制到gs:// my (这里的例子)。如果我尝试将模型直接保存到gs://my-bucket，它就永远不会出现。

对于训练数据，tensorflow样本之一将数据从GCS复制到/tmp for training (这里的例子)，但这仅在数据集较小的情况下起作用。我想使用celebA，而且它太大了，无法每次运行时都复制到/tmp。是否有任何文档或指南说明如何更新本地培训代码以使用Google？

这些实现运行着不同版本的Tensorflow，主要是.11和.12

Answer 1

目前没有明确的指南。其基本思想是将所有本机Python文件操作替换为file_io模块中的等效项，最显著的是：

• open() -> file_io.FileIO()
• os.path.exists() -> file_io.file_exists()
• glob.glob() -> file_io.get_matching_files()

这些功能将在本地和GCS (以及任何已注册的文件系统)上工作。但是，请注意，file_io和标准文件操作有一些细微的差异(例如，支持不同的“模式”集)。

幸运的是，检查点和摘要编写确实是开箱即用的，只需确保将GCS路径传递给tf.train.Saver.save和tf.summary.FileWriter。

在你寄来的样本中，这看起来可能很痛苦。当程序开始只需要做一次(演示的TensorFlow )时，可以考虑对Python函数进行修补，以映射到相应的这里。

另外，这页面上的所有示例都显示从GCS读取文件。