首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何抓取这个特定的网址?

如何抓取这个特定的网址?
EN

Stack Overflow用户
提问于 2014-12-31 00:53:46
回答 1查看 88关注 0票数 0

下面的代码(从Save image from url with curl PHP学到的)在试图从互联网上获取图像时工作得很好。但是当来到下面的url时,我只得到了一个"test.jpg“,它实际上是一个404错误页面(”test.jpg“可以通过记事本打开)。PS:我可以用浏览器打开网址,看到图像。感谢Mike,解决了问题并更新了代码。

代码语言:javascript
复制
$url = 'https://spthumbnails.5min.com/10368406/518420256_c_570_411.jpg';
$reffer="http://www.sohu.com";
$user_agent="Baiduspider+(+http://www.baidu.com/search/spider.htm)";
$saveto="test.jpg";
grab_image($url,$saveto);

function grab_image($url,$saveto,$reffer,$user_agent){
    $ch = curl_init ($url);
    curl_setopt($ch, CURLOPT_HEADER, 0);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
    curl_setopt($ch, CURLOPT_BINARYTRANSFER,1);
    curl_setopt($ch,CURLOPT_REFERER,$reffer);
    curl_setopt($ch,CURLOPT_USERAGENT,$user_agent);
    $raw=curl_exec($ch);
    curl_close ($ch);
    $fp = fopen($saveto,'w');
    fwrite($fp, $raw);
    fclose($fp);
}
EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2014-12-31 01:19:44

多亏了迈克。这个站点确实需要"CURLOPT_REFERER“选项(我忽略了这个选项)来抓取图像。我还添加了useragent选项,以确保它在其他情况下工作。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/27714793

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档