如何从Google Cloud AI Jupyter Notebook(Python)连接到Google Cloud Platform Data Storage？

Question

我需要从这个位置保存/读取一个文件-

bucket name - 'bucket_name'
folder - 'user/test'

我需要知道如何连接到这个位置&读/写文件。

Answer 1

Here是一个完整的教程，教你如何从AI Jupyter Notebook的云存储中读取文件

您还可以按照此步骤一步一步地使用tutorial读/写文件。

import google.datalab.storage as storage
import pandas as pd from io
import BytesIO

def get_bucket(bucket_target):
    shared_bucket = storage.Bucket(str(bucket_name))
   return shared_bucket

def read_file_from_bucket(file_target):
    shared_bucket = get_bucket(bucket_target)
    sample_object = shared_bucket.object(str(file_target)
    sample_text = sample_object.read_stream()
    return sample_text

或者你可以这样做：

import tensorflow as tf

GCS_PATTERN = 'gs://my_bucket/folder/*.tfrec'
filenames = tf.gfile.Glob(GCS_PATTERN)