云AI平台训练从Bucket读取失败

Question

我正在尝试使用Cloud AI Platform进行培训(gcloud ai-platform作业提交培训)。我创建了存储桶，并确保训练文件在那里(gsutil ls gs://sat3__ bucket /data/train_input.csv)。

但是，我的工作失败了，并显示日志消息：

File "/root/.local/lib/python3.7/site-packages/ktrain/text/data.py", line 175, in texts_from_csv
    with open(train_filepath, 'rb') as f:
FileNotFoundError: [Errno 2] No such file or directory: 'gs://sat3_0_bucket/data/train_input.csv'

我是不是遗漏了什么？

Answer 1

这个错误可能是因为ktrain试图使用open(train_filepath, 'rb')自动检测字符编码，而这在Google Cloud Storage中可能存在问题。一种解决方案是显式地将encoding作为参数提供给texts_from_csv，这样就跳过了这一步(缺省值为None，这意味着自动检测)。

或者，您也可以使用these methods中的一种，以pandas DataFrame的形式读取数据。例如，pandas显然支持GCS，所以您可以简单地这样做：df = pd.read_csv('gs://bucket/your_path.csv')

然后，使用ktrain，您可以使用ktrain.text.texts_from_df (或ktrain.text.texts_from_array)加载和预处理数据。