直接从url下载大型数据到google云存储桶

Question

我想直接从URL "https“下载一个大型数据集到google云存储(Bucket)。

我使用了gsutil流命令。通过google云外壳

cp -gs://#/verdyne.zip

结果是

我们在您的会话中检测到过多的出口网络流量。停止或减少此通信量，否则您的会话将被终止。

Answer 1

这是因为您正在使用curl下载到本地环境(云外壳)，然后发送到GCS。

这样做的方法是使用存储传输服务。

有一种选择是给传输服务一个URL列表，服务本身将把所有数据下载到桶中。

Answer 2

1. 在本地计算机上安装SDK
2. 然后从那里运行命令

它将从本地机器下载文件，然后将其用作gsutil命令的输入。如果您的文件太大，您将无法使用Cloud，您可能会点击“设备上没有空间”。

您还在Jofre的帖子中提到，您尝试过存储传输服务，但是失败了。请分享错误，以便我们可以看到它是如何失败的，然后也许我们可以帮助您。