有效处理lwp超时

Question

我正在使用LWP从网页下载内容，我想限制它等待页面的时间。这在lwp中是这样完成的：

my $ua = LWP::UserAgent->new;
$ua->timeout(10);
$ua->get($url);

这很好用，除了当超时达到它的极限时，它就会死掉，我不能继续执行脚本！我真的很想正确地处理这个超时，这样我就可以记录url有一个超时，然后继续我的下一个超时。有人知道怎么做吗？谢谢!

Answer 1

LWP::Agent的get()返回一个HTTP::Response对象，您可以使用该对象检查错误：

use LWP::Agent;
use HTTP::Status ();

my $ua = LWP::UserAgent->new;
$ua->timeout(10);
my $response = $ua->get($url);

if ($response->is_error) {
    printf "[%d] %s\n", $response->code, $response->message;

    # record the timeout
    if ($response->code == HTTP::Status::HTTP_REQUEST_TIMEOUT) {
        ...
    }
}

顺便说一句，现在更好的做法是用Try::Tiny代替eval {...}。它会给你try {...} catch {...}。它还解决了检查if $@的一些问题(请参阅Try::Tiny文档中的背景部分)。

Answer 2

对于大多数目的，LWP：：UserAgent的超时是足够的，但它确实会遇到一些缺点…它适用于每个系统调用，而不是它们的集合。如果你真的需要一个固定的超时时间，这是LWPx::ParanoidAgent要处理的事情之一。

Answer 3

您可以使用eval块在Perl中执行与try{} catch {}等效的操作：

http://perldoc.perl.org/functions/eval.html