RequestTimeout使用S3上传到S3

Question

我在从我们的服务器上传文件到S3时遇到了麻烦。我们使用S3存储备份，所有服务器都使用PHP5.2.4和libcurl 7.18.0运行Ubuntu8.04。每当我试图上传文件时，Amazon都会返回一个RequestTimeout错误。我知道在我们当前版本的libcurl中有一个错误，防止超过200 of的上传。因此，我们将备份分成更小的文件。

我们的服务器托管在亚马逊的EC2上，服务器托管在客户的“私有云”(他们公司防火墙后面的VMWare ESX盒)上。我遇到问题的特定服务器托管在客户的私有云上。

我们使用来自http://undesigned.org.za/2007/10/22/amazon-s3-php-class的Amazon类。我尝试了200 and、100 and和50 and文件，结果都是一样的。我们使用以下方式上传文件：

$s3 = new S3($access_key, $secret_key, false);
$success = $s3->putObjectFile($local_path, $bucket_name,
    $remote_name, S3::ACL_PRIVATE);

我已经尝试设置curl_setopt($curl, CURLOPT_NOPROGRESS, false);来查看进度栏，而它上传文件。当我第一次用这个选项运行它时，它起了作用。然而，每次它都失败了。它似乎上传了大约3Mb/s的文件5-10秒，然后下降到0。20秒后，亚马逊返回"RequestTimeout --您与服务器的套接字连接在超时期间内没有被读取或写入。空闲连接将被关闭。“错误。

我尝试过将S3类更新为来自GitHub的最新版本，但没有什么不同。我还找到了亚马逊S3流包装器类，并尝试使用以下代码：

include 'gs3.php';
define('S3_KEY', 'ACCESSKEYGOESHERE');
define('S3_PRIVATE','SECRETKEYGOESHERE');
$local = fopen('/path/to/backup_id.tar.gz.0000', 'r');
$remote = fopen('s3://bucket-name/customer/backup_id.tar.gz.0000', 'w+r');

$count = 0;
while (!feof($local))
{
    $result = fwrite($remote, fread($local, (1024 * 1024)));
    if ($result === false)
    {
        fwrite(STDOUT, $count++.': Unable to write!'."\n");
    }
    else
    {
        fwrite(STDOUT, $count++.': Wrote '.$result.' bytes'."\n");
    }
}

fclose($local);
fclose($remote);

此代码一次读取一个MB的文件，以便将其流到S3。对于一个50 to的文件，我得到"1:写1048576字节“49次(当然，第一个数字每次都会改变)，但是在循环的最后一次迭代中，我得到一个错误：”注意:fput()：发送8192个字节失败，errno=11资源在/path/to/http.php第230行中暂时不可用“。

我的第一个想法是，这是一个网络问题。我们打电话给客户，解释了这个问题，让他们看看他们的防火墙，看看他们有没有丢东西。据他们的网络管理员说，流量流动得很好。

我不知道我下一步能做什么。我一直在手动运行备份，并使用SCP将它们传输到另一台计算机并上传。这显然是不理想的，任何帮助都将不胜感激。

更新- 06/23/2011

我已经尝试了许多选择，但它们都提供了相同的结果。我发现，即使试图将一个文件从所讨论的服务器切换到另一个服务器，也会立即停止，并最终超时。但是，我可以使用scp从另一台计算机下载相同的文件。这使我更加确信这是一个关于客户端的网络问题，任何进一步的建议都将不胜感激。

Answer 1

存在此问题是因为您正试图再次上载同一文件。示例：

$s3 = new S3('XXX','YYYY', false);
$s3->putObjectFile('file.jpg','bucket-name','file.jpg');
$s3->putObjectFile('file.jpg','bucket-name','newname-file.jpg');

要修复它，只需复制文件，并给它新的名称，然后正常上传。

示例：

$s3 = new S3('XXX','YYYY', false);
$s3->putObjectFile('file.jpg','bucket-name','file.jpg');
now rename file.jpg to newname-file.jpg
$s3->putObjectFile('newname-file.jpg','bucket-name','newname-file.jpg');

Answer 2

我用另一种方式解决了这个问题。我的错误是，那个filesize()函数返回无效的缓存大小值。所以只需使用clearstatcache()

Answer 3

我经历过几次同样的问题。

我现在有很多脚本，它们不断地将文件上传到S3。

我能提供的最佳解决方案是使用Zend (流包装器或直接S3 API)。

http://framework.zend.com/manual/en/zend.service.amazon.s3.html

自从Zend框架的最新版本发布以来，我还没有看到过超时的任何问题。但是，如果你发现你仍然有问题，一个简单的调整就可以了。

只需打开文件Zend/Http/Client.php并修改$config数组中的“超时值”。在撰写本报告时，它存在于第114行。在最新的版本发布之前，我的运行时间是120秒，但现在运行平稳，超时时间为10秒。

希望这能有所帮助！