GSUtil cp方法损坏的文件

Question

在过去的一周里，我注意到在我使用GSUtils复制的gz文件(现在是3.42版本)中，大约有5-10%是损坏的.当我查看GCS中的文件时，可以肯定它们比GSUtils下载的文件要大。

(FileNameHere).gz: Unexpected end of archive
(FileNameHere).gz: CRC failed in (FileNameHere). The file is corrupt

用例是将gzip文件从GCS复制到我们的WindowsServer2008r2机器中。

还有其他人见过这个问题吗？

Answer 1

请您提供一个具体的示例:完整的桶和对象名称，下载对象的特定日期/时间，以及使用gsutil下载文件后的文件大小？这样我们就可以调查并复制你所看到的案子。

如果您不想在StackOverflow上发布特定的桶名和对象名，您可以通过电子邮件gs- team @google.com与GCS团队私下交流。

谢谢,

麦克

Answer 2

这个片段与上面的注释一起进行(重试copy命令直到成功)：

#!/bin/sh

export PATH=${PATH}:/cygdrive/c/gsutil
ZIPFOLDER="d:/YourPathHere"
for obj in \
  gs://YourBucketName/YourFileName_01.gz \
  gs://YourBucketName/YourFileName_02.gz \
  gs://YourBucketName/YourFileName_03.gz \
...
  gs://YourBucketName/YourFileName_NN.gz \ ; do
    until gsutil cp $obj "$ZIPFOLDER" ; do :; done
done