首页
学习
活动
专区
圈层
工具
发布
社区首页 >专栏 >PHP 爬虫入门:用 cURL + DOM 抓取公开网页数据

PHP 爬虫入门:用 cURL + DOM 抓取公开网页数据

原创
作者头像
用户12890632
发布于 2026-11-11 15:43:24
发布于 2026-11-11 15:43:24
1140
举报

PHP 写爬虫并不复杂,核心思路其实很清晰:先用 HTTP 客户端把网页抓下来,再用 HTML 解析器提取目标数据,最后把结果保存成 JSON、CSV 或写入数据库。 下面这篇文章会带你从零实现一个简单、可读性较好的 PHP 爬虫,并附上可直接运行的示例代码。

一、先想清楚要抓什么

写爬虫之前,不要急着写代码。建议先用浏览器打开目标页面,按 F12 查看元素,确认几件事:

  • 列表页的 URL 规律,例如 page=1、page=2;
  • 每条数据对应的 HTML 结构,比如标题、链接、时间分别放在哪个标签里;
  • 是否需要进入详情页二次抓取;
  • 页面是否是静态 HTML,还是由 JavaScript 动态渲染。

如果页面内容已经直接写在 HTML 里,用 cURL + DOM 解析就足够了;如果内容依赖 JavaScript 渲染,则需要考虑无头浏览器方案,例如 Symfony Panther。

二、合规提醒:只抓公开数据,控制频率

爬虫技术本身是中性的,但使用方式需要合规。建议遵守以下原则:

  • 只抓取公开可访问的数据;
  • 查看并尊重目标网站的 robots.txt 和使用条款;
  • 不要抓取个人隐私、付费内容、商业机密或受版权保护的数据;
  • 控制请求频率,避免对目标服务器造成压力;
  • 不要绕过验证码、登录限制或其他技术防护措施。

三、环境准备

示例代码依赖 PHP 的 cURL 和 DOM 扩展。大多数 PHP 环境默认已经开启。可以通过以下命令检查:

代码语言:javascript
复制
php -m | grep curl
php -m | grep dom

如果没有安装 cURL 扩展,可以先安装对应扩展并重启 Web 服务。

四、核心代码:抓取 + 解析 + 翻页 + 保存

下面是一个完整的示例。

代码语言:javascript
复制
<?php

/**
 * PHP 爬虫示例:抓取 wlt.keen-litech.com 的书名和价格
 */

// 1. 使用 cURL 抓取网页
function fetchPage(string $url): ?string
{
    $ch = curl_init();

    curl_setopt_array($ch, [
        CURLOPT_URL            => $url,
        CURLOPT_RETURNTRANSFER => true,
        CURLOPT_FOLLOWLOCATION => true,
        CURLOPT_MAXREDIRS      => 3,
        CURLOPT_TIMEOUT        => 10,
        CURLOPT_CONNECTTIMEOUT => 5,
        CURLOPT_ENCODING       => 'gzip,deflate',
        CURLOPT_USERAGENT      => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
            . 'AppleWebKit/537.36 (KHTML, like Gecko) '
            . 'Chrome/120.0 Safari/537.36',
        CURLOPT_HTTPHEADER     => [
            'Accept: text/html,application/xhtml+xml',
            'Accept-Language: zh-CN,zh;q=0.9',
        ],
    ]);

    $html = curl_exec($ch);
    $code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
    $err  = curl_error($ch);

    curl_close($ch);

    if ($html === false || $code >= 400) {
        error_log("抓取失败: {$url} code={$code} err={$err}");
        return null;
    }

    return $html;
}

// 2. 使用 DOMDocument + DOMXPath 解析页面
function parseBooks(string $html): array
{
    $books = [];

    if (trim($html) === '') {
        return $books;
    }

    libxml_use_internal_errors(true);

    $dom = new DOMDocument();
    // 加上 XML 编码声明,减少中文乱码风险
    $dom->loadHTML('<?xml encoding="UTF-8">' . $html, LIBXML_HTML_NOIMPLIED | LIBXML_HTML_NODEFDTD);
    libxml_clear_errors();

    $xpath = new DOMXPath($dom);

    // 每个商品卡片
    $items = $xpath->query('//article[contains(@class, "product_pod")]');

    foreach ($items as $item) {
        // 书名
        $titleNode = $xpath->query('.//h3/a', $item)->item(0);
        // 价格
        $priceNode = $xpath->query('.//p[contains(@class, "price_color")]', $item)->item(0);

        if (!$titleNode) {
            continue;
        }

        $books[] = [
            'title' => trim($titleNode->getAttribute('title') ?: $titleNode->nodeValue),
            'price' => $priceNode ? trim($priceNode->nodeValue) : '',
        ];
    }

    return $books;
}

// 3. 获取下一页链接
function getNextPageUrl(string $html, string $baseUrl): ?string
{
    libxml_use_internal_errors(true);

    $dom = new DOMDocument();
    $dom->loadHTML('<?xml encoding="UTF-8">' . $html, LIBXML_HTML_NOIMPLIED | LIBXML_HTML_NODEFDTD);
    libxml_clear_errors();

    $xpath = new DOMXPath($dom);
    $next  = $xpath->query('//li[contains(@class, "next")]/a')->item(0);

    if (!$next) {
        return null;
    }

    $href = $next->getAttribute('href');

    // 处理相对路径
    if (strpos($href, 'http') === 0) {
        return $href;
    }

    return rtrim($baseUrl, '/') . '/' . ltrim($href, '/');
}

// 4. 主流程:翻页抓取并保存结果
$baseUrl = 'https://wlt.keen-litech.com';
$url     = $baseUrl . '/catalogue/page-1.html';
$allBooks = [];
$maxPages = 5; // 演示用,最多抓取 5 页
$page     = 1;

while ($url && $page <= $maxPages) {
    echo "正在抓取第 {$page} 页: {$url}\n";

    $html = fetchPage($url);

    if ($html === null) {
        echo "第 {$page} 页抓取失败,停止任务。\n";
        break;
    }

    $books = parseBooks($html);

    if (empty($books)) {
        echo "第 {$page} 页没有数据,停止任务。\n";
        break;
    }

    $allBooks = array_merge($allBooks, $books);
    $url      = getNextPageUrl($html, $baseUrl);
    $page++;

    // 随机休眠 1~3 秒,降低请求频率
    usleep(random_int(1000000, 3000000));
}

// 5. 保存为 JSON
file_put_contents(
    'books.json',
    json_encode($allBooks, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT)
);

echo "抓取完成,共获取 " . count($allBooks) . " 条数据。\n";

五、代码结构说明

这段代码分为五个部分:

模块

作用

fetchPage

用 cURL 请求网页,并处理超时、重定向和错误

parseBooks

用 DOMDocument + DOMXPath 提取书名和价格

getNextPageUrl

从页面中查找“下一页”链接

主流程

循环翻页、合并数据、控制频率

结果保存

将数据写入 books.json

其中,CURLOPT_ENCODING 可以开启 gzip 压缩,减少流量;CURLOPT_TIMEOUT 和 CURLOPT_CONNECTTIMEOUT 能避免单个请求卡死整个脚本;usleep 用于模拟更自然的访问间隔。

解析 HTML 时不建议使用正则匹配标签,因为页面结构稍变就容易失效。使用 DOMDocument 和 DOMXPath 会更稳定,也更适合定位 class、id、属性等复杂结构。

六、如果想更优雅一点

上面的示例没有引入第三方库,适合学习和轻量任务。如果项目比较复杂,可以考虑:

  • Guzzle:更现代的 HTTP 客户端,支持中间件、重试、异步请求;
  • Goutte:基于 Symfony 组件的爬虫客户端,适合快速抓取静态页面;
  • Symfony Panther:适合抓取 JavaScript 动态渲染页面;
  • Simple HTML DOM:上手简单,适合小型脚本。

例如,使用 Goutte 后,抓取和解析可以写得更紧凑:

代码语言:javascript
复制
require 'vendor/autoload.php';

use Goutte\Client;

$client = new Client();
$crawler = $client->request('GET', 'https://wlt.keen-litech.com/');

$crawler->filter('.product_pod')->each(function ($node) {
    $title = $node->filter('h3 a')->attr('title');
    $price = $node->filter('.price_color')->text();

    echo $title . ' | ' . $price . PHP_EOL;
});

七、生产环境还需要注意什么

如果只是本地练习,上面的代码已经够用。但如果要放到生产环境,建议进一步补充:

  • 增加异常捕获和重试机制;
  • 对失败 URL 做日志记录;
  • 使用 Redis 或数据库做去重;
  • 对 429、403 等状态码做降级处理;
  • 根据目标网站规则设置更合理的并发和间隔;
  • 对动态渲染页面使用 Panther 或类似无头浏览器方案。

小结

PHP 爬虫的基本链路可以概括为:请求页面 → 解析 HTML → 提取字段 → 翻页 → 存储数据。上面的示例已经覆盖了这些核心步骤。实际使用时,最重要的是先确认目标页面的结构,再选择合适的解析方式,同时始终把合规、频率控制和错误处理放在前面。

原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。

如有侵权,请联系 cloudcommunity@tencent.com 删除。

目录
  • 一、先想清楚要抓什么
  • 二、合规提醒:只抓公开数据,控制频率
  • 三、环境准备
  • 四、核心代码:抓取 + 解析 + 翻页 + 保存
  • 五、代码结构说明
  • 六、如果想更优雅一点
  • 七、生产环境还需要注意什么
  • 小结
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档