首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >php无法获取网页的url内容

问php无法获取网页的url内容
EN

Stack Overflow用户
提问于 2020-10-09 20:13:58
回答 3查看 182关注 0票数 0

我正在尝试获取Url的内容并在其中搜索一些值。我以前这样做过,没有问题,但是这个方法在这个Url上不起作用:https://steamdb.info/app/1060870/我已经尝试过了。

代码语言:javascript
复制
$data = file_get_contents("https://steamdb.info/app/1060870/");

但我得到的是这个

代码语言:javascript
复制
failed to open stream: HTTP request failed! HTTP/1.1 403 Forbidden in C:\wamp64\www\cont\tst.php on line 2

我也尝试过Snoopy库,它也不起作用。有什么建议吗?提前感谢!

EN

回答 3

Stack Overflow用户

发布于 2020-10-09 20:21:23

如果您在请求的报头中指定了用户代理,则看起来steamdb.info只接受请求。

编辑:看起来像是在处理那些标题

代码语言:javascript
复制
$curl = curl_init();

curl_setopt_array($curl, array(
  CURLOPT_URL => "https://steamdb.info/app/1060870/",
  CURLOPT_RETURNTRANSFER => true,
  CURLOPT_ENCODING => "",
  CURLOPT_MAXREDIRS => 10,
  CURLOPT_TIMEOUT => 0,
  CURLOPT_FOLLOWLOCATION => true,
  CURLOPT_HTTP_VERSION => CURL_HTTP_VERSION_1_1,
  CURLOPT_CUSTOMREQUEST => "GET",
  CURLOPT_HTTPHEADER => array(
    "Cookie: __cfduid=d37d18f76a77fbb1d7e6c9422656437811602245996",
    "User-Agent: PostmanRuntime/7.26.5",
    "Accept: */*"
  ),
));

$response = curl_exec($curl);

curl_close($curl);
echo $response;

你需要curl来运行它(apt-get在debian发行版上安装php-curl )

票数 0
EN

Stack Overflow用户

发布于 2020-10-09 20:24:23

看起来问题更多的是,steam不希望这个页面的内容可以通过某些方式访问(比如通过php程序)。

如果您用另一个URL (例如这个页面的URL)尝试相同的代码,就可以了。

403 HTTP错误代码显示:不允许您查看该页面。

票数 0
EN

Stack Overflow用户

发布于 2020-10-09 20:48:02

您也可以使用puphpeteer来获取页面。您必须设置标头。我使用这段代码来确保我可以获得您可以用Dom解析器修改和遍历的html。

代码语言:javascript
复制
require 'vendor/autoload.php';

use Nesk\Puphpeteer\Puppeteer;
use Nesk\Rialto\Data\JsFunction;

$puppeteer = new Puppeteer;

$browser = $puppeteer->launch();
$page = $browser->newPage();
$page->setUserAgent('Opera/9.80 (Windows NT 6.2; WOW64) Presto/2.12.388 Version/12.17');
$page->goto('https://steamdb.info/app/1060870/');
$data = $page->evaluate(JsFunction::createWithBody('return document.documentElement.outerHTML'));
print_r($data);

$browser->close();
票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/64279843

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档