首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在GET / PHP5中限制每秒连接到服务器的数量?

问如何在GET / PHP5中限制每秒连接到服务器的数量?
EN

Stack Overflow用户
提问于 2011-03-27 02:26:44
回答 3查看 2K关注 0票数 2

给定下面的脚本,该脚本以另一种语言获取单词并与服务器建立连接。

但是,有这么多单独的字符串实体,以至于其中一些实体返回为空值。StackOverflow Out @Pekka正确地评估了谷歌的局限性:对结果进行计时。

Q1.如何使连接更强/更可靠,尽管代价是速度?

Q2.我如何谨慎地限制每秒连接到服务器的数量?

我愿意牺牲速度,即使它会造成120秒的延迟),只要返回的值是正确的。现在一切都在0.5秒左右开始并完成,翻译中有不同的空白。就像荷兰奶酪(有洞)和我想要奶酪没有洞,即使这意味着更长的等待时间。

正如您所看到的,我自己的解决方案--让脚本休眠1/4秒钟--不能被称为优雅.怎么从这里开始?

代码语言:javascript
复制
    $url='http://ajax.googleapis.com/ajax/services/language/translate?v=1.0&q=' . rawurlencode($string) . '&langpair=' . rawurlencode($from.'|'.$to);
    $response   = file_get_contents($url,
            null,
            stream_context_create(
            array(
            'http'=>array(
            'method'=>"GET",
            'header'=>"Referer: http://test.com/\r\n"
            )
            )
        ));
usleep(250000); # means 1/4 of second deliberate pauze
return self::cleanText($response);
}
EN

回答 3

Stack Overflow用户

回答已采纳

发布于 2011-03-27 04:47:44

我如何慎重地限制每秒连接到服务器的数量?

那得看情况。在理想的世界中,如果您期望任何级别的流量,您可能希望您的刮刀程序成为一个通过消息或工作队列与您通信的守护进程。在这种情况下,守护进程将能够保持每秒对请求的严格控制,并适当地控制事情。

听起来你实际上是在用户请求的情况下进行现场直播。老实说,你现在的睡眠策略很好。当然,它是“粗糙的”,但它很简单,而且很有效。当您可能有多个用户同时发出请求时,问题就来了,在这种情况下,这两个请求将对另一个请求一无所知,您将以每秒的请求超过服务所允许的请求而结束。

这里有一些策略。如果URL从未改变,也就是说,您只是节流单个服务,您基本上需要一个信号量来协调多个脚本。

考虑使用一个简单的锁文件。或者,更准确地说,锁定文件上的文件锁:

代码语言:javascript
复制
// Open our lock file for reading and writing; 
// create it if it doesn't exist, 
// don't truncate, 
// don't relocate the file pointer.
$fh = fopen('./lock.file', 'c+');
foreach($list_of_requests as $request_or_whatever) {
// At the top of the loop, establish the lock.
    $ok = flock($fh, LOCK_EX):
    if(!$ok) {
        echo "Wow, the lock failed, that shouldn't ever happen.";
        break; // Exit the loop.
    }
// Insert the actual request *and* sleep code here.
    $foo->getTranslation(...);
// Once the request is made and we've slept, release the lock
// to allow another process that might be waiting for the lock
// to grab it and run.
   flock($fh, LOCK_UN);
}
fclose($fh);

在大多数情况下,这将很好地工作。如果您使用的是超低成本或低质量的共享主机,则由于底层文件系统(不)的工作方式,锁可能适得其反。在Windows上也有点挑剔。

如果您要处理多个服务,事情会变得更加棘手。我的第一反应是在数据库中创建一个表,并开始跟踪每个请求,如果在过去的Z秒中向域Y发出了超过X个请求,则添加额外的节流。

Q1.怎样才能使连接更牢固/更可靠,尽管代价是速度?

如果你坚持谷歌翻译,你可能想要切换到转换v2 RESTful API。这需要一个API密钥,但是注册过程将迫使您通过他们的TOS,这应该记录他们的请求/期限上限。从这一点,您可以让您的系统节流请求的任何速率,他们的服务将支持和维护可靠性。

票数 1
EN

Stack Overflow用户

发布于 2011-03-27 04:26:26

您可以从较低的等待时间开始,只有在无法得到响应时才会增加等待时间。就像这样。

代码语言:javascript
复制
$delay = 0;
$i = 0;
$nStrings = count($strings);

while ($i < $nStrings) {
    $response = $this->getTranslation($strings[$i]);
    if ($response) {
        $i++;
        # save the response somewhere
    else {
        $delay += 1000;
        usleep($delay);
    }
}
票数 1
EN

Stack Overflow用户

发布于 2011-03-28 03:06:41

下面是我在我的卷发包装纸上使用的代码片段,延迟呈指数增长--这是一件好事,否则可能只会给服务器带来压力,永远得不到积极的响应:

代码语言:javascript
复制
function CURL($url)
{
    $result = false;

    if (extension_loaded('curl'))
    {
        $curl = curl_init($url);

        if (is_resource($curl))
        {
            curl_setopt($curl, CURLOPT_FAILONERROR, true);
            curl_setopt($curl, CURLOPT_AUTOREFERER, true);
            curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true);
            curl_setopt($curl, CURLOPT_RETURNTRANSFER, true);

            for ($i = 1; $i <= 8; ++$i)
            {
                $result = curl_exec($curl);

                if (($i == 8) || ($result !== false))
                {
                    break;
                }

                usleep(pow(2, $i - 2) * 1000000);
            }

            curl_close($curl);
        }
    }

    return $result;
}

此处的$i变量的最大值为8,这意味着函数将尝试获取URL 8次,其延迟分别为0.5、1、2、4、8、16、32和64秒(或总计127.5秒)。

至于并发进程,我建议使用APC或类似的方法设置共享内存变量。

希望能帮上忙!

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/5446824

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档