s3cmd失败次数太多

Question

它曾经是我最喜欢的备份传输代理，但是现在我经常在相同的Ubuntu服务器/网络上从s3cmd获得这个结果：

root@server:/home/backups# s3cmd put bkup.tgz s3://mybucket/
bkup.tgz -> s3://mybucket/bkup.tgz  [1 of 1]
      36864 of 2711541519     0% in    1s    20.95 kB/s  failed
WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe)
WARNING: Retrying on lower speed (throttle=0.00)
WARNING: Waiting 3 sec...
bkup.tgz -> s3://mybucket/bkup.tgz  [1 of 1]
      36864 of 2711541519     0% in    1s    23.96 kB/s  failed
WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe)
WARNING: Retrying on lower speed (throttle=0.01)
WARNING: Waiting 6 sec...
bkup.tgz -> s3://mybucket/bkup.tgz  [1 of 1]
      28672 of 2711541519     0% in    1s    18.71 kB/s  failed
WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe)
WARNING: Retrying on lower speed (throttle=0.05)
WARNING: Waiting 9 sec...
bkup.tgz -> s3://mybucket/bkup.tgz  [1 of 1]
      28672 of 2711541519     0% in    1s    18.86 kB/s  failed
WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe)
WARNING: Retrying on lower speed (throttle=0.25)
WARNING: Waiting 12 sec...
bkup.tgz -> s3://mybucket/bkup.tgz  [1 of 1]
      28672 of 2711541519     0% in    1s    15.79 kB/s  failed
WARNING: Upload failed: /bkup.tgz ([Errno 32] Broken pipe)
WARNING: Retrying on lower speed (throttle=1.25)
WARNING: Waiting 15 sec...
bkup.tgz -> s3://mybucket/bkup.tgz  [1 of 1]
      12288 of 2711541519     0% in    2s     4.78 kB/s  failed
ERROR: Upload of 'bkup.tgz' failed too many times. Skipping that file.

即使是100‘s大小的文件也会出现这种情况，所以我认为这不是一个大小问题。当我使用put with --acl-私有标志(s3cmd版本1.0.1)时，也会发生这种情况。

如果您提出一些解决方案或s3cmd的轻量级替代方案，我将不胜感激。

Answer 1

有几个常见问题导致s3cmd返回您提到的错误：

• 一种不存在的(例如，输入错误的桶名；或尚未提供的桶)
• 身份验证值上的尾随空格(密钥/id)
• 不准确的系统时钟。可以使用Wireshark (通过http而不是https连接)来查看您的系统时钟如何与S3's时钟一致--它们应该在几秒钟内匹配。如果存在问题，可以考虑使用NTP同步时钟。

S3cmd的替代方案：

• s3cp --一种基于Java的脚本，它为将文件传输到S3提供了良好的功能，并且比s3cmd提供更详细的错误消息。
• aws -一个基于Perl的脚本，由Tim编写，它提供了对大多数AWS (包括S3)函数的轻松访问，并且非常流行。

如果您希望编写自己的脚本，您可以使用Python库，它具有执行大多数AWS操作的功能，并且可以在线获得许多示例。有一个项目，它在命令行中公开了一些boto函数--尽管目前有一组非常小的函数可用。

Answer 2

Ubuntu s3cmd命令也有同样的问题。

下载最新的稳定版本(1.0.1)解决了它：http://sourceforge.net/projects/s3tools/files/s3cmd/

Answer 3

在尝试了以上所有内容之后，我注意到使用s3cmd put仍然存在节流问题，而不是使用s3cmd同步。希望这对某人快速修复可能有用:)