来自Dataflow的Google CloudML权限-无法重新创建google图像示例

Question

我试图使用他们的新的CLOUDML工具来跟踪Google的这篇博客文章。

https://cloud.google.com/blog/big-data/2016/12/how-to-train-and-classify-images-using-google-cloud-machine-learning-and-cloud-dataflow

从它们提供的坞实例中运行。

docker pull gcr.io/cloud-datalab/datalab:local
docker run -it -p "127.0.0.1:8080:8080" \
  --entrypoint=/bin/bash \
  gcr.io/cloud-datalab/datalab:local

起点：root@9e93221352d8:~/google-cloud-ml/samples/flowers#

要运行第一个预处理步骤：

分配适当的值。

PROJECT=$(gcloud config list project --format "value(core.project)")
JOB_ID="flowers_${USER}_$(date +%Y%m%d_%H%M%S)"
BUCKET="gs://${PROJECT}-ml"
GCS_PATH="${BUCKET}/${USER}/${JOB_ID}"
DICT_FILE=gs://cloud-ml-data/img/flower_photos/dict.txt

预处理这套标准集。

python trainer/preprocess.py \
  --input_dict "$DICT_FILE" \
  --input_path "gs://cloud-ml-data/img/flower_photos/eval_set.csv" \
  --output_path "${GCS_PATH}/preproc/eval" \
  --cloud

返回

(27042c30421ec530): Workflow failed. Causes: (70e56dda0121e0fa): One or more access checks for temp location or staged files failed. Please refer to other error messages for details. For more information on security and permissions, please see https://cloud.google.com/dataflow/security-and-permissions.

到控制台时，日志内容如下：

(531d956bf99b5f27): Staged package cloudml.latest.tar.gz at location 'gs://api-project-773889352370-ml/flowers__20170106_123249/preproc/staging/flowers-20170106-123312.1483705994.201001/cloudml.latest.tar.gz' is inaccessible.

我又试着用

gcloud beta auth application-default login

从浏览器里拿到钥匙。那里似乎没什么不对劲的。

我已经成功地运行了MNIST云学习教程，因此不存在与google计算引擎通信的身份验证问题。

我可以确认到我的桶的路径是正确的：

root@9e93221352d8:~/google-cloud-ml/samples/flowers# echo ${GCS_PATH}
gs://api-project-773889352370-ml//flowers__20170106_165608

但是从来没有创建过任何文件夹flowers__20170106_165608 (由于权限)。

数据流需要单独的凭证吗？我去控制台，确保我的帐户是打开的数据流API。任何超越

root@9e93221352d8:~/google-cloud-ml/samples/flowers# gcloud config list
Your active configuration is: [default]

[component_manager]
disable_update_check = True
[compute]
region = us-central1
zone = us-central1-a
[core]
account = ####<- scrubbed for SO, its correct.
project = api-project-773889352370

编辑:显示控制台上的“服务帐户”选项卡。

​

编辑:接受下面的答案。我接受这个答案是因为杰里米·刘易斯是对的。问题不在于数据流具有权限，而是因为从未创建过GCS对象。进入预处理记录器，您可以看到

​

​

google展示的教程可能没有很好地配置为免费层，我猜它分发给了太多的实例，并且超过了CPU配额。如果我不能解决，我将打开一个正确的问题。

Answer 1

请在错误信息提供的链接上查看有关服务帐户的信息。我怀疑服务帐户没有被正确授权来查看分阶段的文件。