PHP 写爬虫并不复杂,核心思路其实很清晰:先用 HTTP 客户端把网页抓下来,再用 HTML 解析器提取目标数据,最后把结果保存成 JSON、CSV 或写入数据库。 下面这篇文章会带你从零实现一个简单、可读性较好的 PHP 爬虫,并附上可直接运行的示例代码。
写爬虫之前,不要急着写代码。建议先用浏览器打开目标页面,按 F12 查看元素,确认几件事:
page=1、page=2;如果页面内容已经直接写在 HTML 里,用 cURL + DOM 解析就足够了;如果内容依赖 JavaScript 渲染,则需要考虑无头浏览器方案,例如 Symfony Panther。
爬虫技术本身是中性的,但使用方式需要合规。建议遵守以下原则:
robots.txt 和使用条款;示例代码依赖 PHP 的 cURL 和 DOM 扩展。大多数 PHP 环境默认已经开启。可以通过以下命令检查:
php -m | grep curl
php -m | grep dom如果没有安装 cURL 扩展,可以先安装对应扩展并重启 Web 服务。
下面是一个完整的示例。
<?php
/**
* PHP 爬虫示例:抓取 wlt.keen-litech.com 的书名和价格
*/
// 1. 使用 cURL 抓取网页
function fetchPage(string $url): ?string
{
$ch = curl_init();
curl_setopt_array($ch, [
CURLOPT_URL => $url,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_FOLLOWLOCATION => true,
CURLOPT_MAXREDIRS => 3,
CURLOPT_TIMEOUT => 10,
CURLOPT_CONNECTTIMEOUT => 5,
CURLOPT_ENCODING => 'gzip,deflate',
CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
. 'AppleWebKit/537.36 (KHTML, like Gecko) '
. 'Chrome/120.0 Safari/537.36',
CURLOPT_HTTPHEADER => [
'Accept: text/html,application/xhtml+xml',
'Accept-Language: zh-CN,zh;q=0.9',
],
]);
$html = curl_exec($ch);
$code = curl_getinfo($ch, CURLINFO_HTTP_CODE);
$err = curl_error($ch);
curl_close($ch);
if ($html === false || $code >= 400) {
error_log("抓取失败: {$url} code={$code} err={$err}");
return null;
}
return $html;
}
// 2. 使用 DOMDocument + DOMXPath 解析页面
function parseBooks(string $html): array
{
$books = [];
if (trim($html) === '') {
return $books;
}
libxml_use_internal_errors(true);
$dom = new DOMDocument();
// 加上 XML 编码声明,减少中文乱码风险
$dom->loadHTML('<?xml encoding="UTF-8">' . $html, LIBXML_HTML_NOIMPLIED | LIBXML_HTML_NODEFDTD);
libxml_clear_errors();
$xpath = new DOMXPath($dom);
// 每个商品卡片
$items = $xpath->query('//article[contains(@class, "product_pod")]');
foreach ($items as $item) {
// 书名
$titleNode = $xpath->query('.//h3/a', $item)->item(0);
// 价格
$priceNode = $xpath->query('.//p[contains(@class, "price_color")]', $item)->item(0);
if (!$titleNode) {
continue;
}
$books[] = [
'title' => trim($titleNode->getAttribute('title') ?: $titleNode->nodeValue),
'price' => $priceNode ? trim($priceNode->nodeValue) : '',
];
}
return $books;
}
// 3. 获取下一页链接
function getNextPageUrl(string $html, string $baseUrl): ?string
{
libxml_use_internal_errors(true);
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="UTF-8">' . $html, LIBXML_HTML_NOIMPLIED | LIBXML_HTML_NODEFDTD);
libxml_clear_errors();
$xpath = new DOMXPath($dom);
$next = $xpath->query('//li[contains(@class, "next")]/a')->item(0);
if (!$next) {
return null;
}
$href = $next->getAttribute('href');
// 处理相对路径
if (strpos($href, 'http') === 0) {
return $href;
}
return rtrim($baseUrl, '/') . '/' . ltrim($href, '/');
}
// 4. 主流程:翻页抓取并保存结果
$baseUrl = 'https://wlt.keen-litech.com';
$url = $baseUrl . '/catalogue/page-1.html';
$allBooks = [];
$maxPages = 5; // 演示用,最多抓取 5 页
$page = 1;
while ($url && $page <= $maxPages) {
echo "正在抓取第 {$page} 页: {$url}\n";
$html = fetchPage($url);
if ($html === null) {
echo "第 {$page} 页抓取失败,停止任务。\n";
break;
}
$books = parseBooks($html);
if (empty($books)) {
echo "第 {$page} 页没有数据,停止任务。\n";
break;
}
$allBooks = array_merge($allBooks, $books);
$url = getNextPageUrl($html, $baseUrl);
$page++;
// 随机休眠 1~3 秒,降低请求频率
usleep(random_int(1000000, 3000000));
}
// 5. 保存为 JSON
file_put_contents(
'books.json',
json_encode($allBooks, JSON_UNESCAPED_UNICODE | JSON_PRETTY_PRINT)
);
echo "抓取完成,共获取 " . count($allBooks) . " 条数据。\n";这段代码分为五个部分:
模块 | 作用 |
|---|---|
fetchPage | 用 cURL 请求网页,并处理超时、重定向和错误 |
parseBooks | 用 DOMDocument + DOMXPath 提取书名和价格 |
getNextPageUrl | 从页面中查找“下一页”链接 |
主流程 | 循环翻页、合并数据、控制频率 |
结果保存 | 将数据写入 books.json |
其中,CURLOPT_ENCODING 可以开启 gzip 压缩,减少流量;CURLOPT_TIMEOUT 和 CURLOPT_CONNECTTIMEOUT 能避免单个请求卡死整个脚本;usleep 用于模拟更自然的访问间隔。
解析 HTML 时不建议使用正则匹配标签,因为页面结构稍变就容易失效。使用 DOMDocument 和 DOMXPath 会更稳定,也更适合定位 class、id、属性等复杂结构。
上面的示例没有引入第三方库,适合学习和轻量任务。如果项目比较复杂,可以考虑:
例如,使用 Goutte 后,抓取和解析可以写得更紧凑:
require 'vendor/autoload.php';
use Goutte\Client;
$client = new Client();
$crawler = $client->request('GET', 'https://wlt.keen-litech.com/');
$crawler->filter('.product_pod')->each(function ($node) {
$title = $node->filter('h3 a')->attr('title');
$price = $node->filter('.price_color')->text();
echo $title . ' | ' . $price . PHP_EOL;
});如果只是本地练习,上面的代码已经够用。但如果要放到生产环境,建议进一步补充:
PHP 爬虫的基本链路可以概括为:请求页面 → 解析 HTML → 提取字段 → 翻页 → 存储数据。上面的示例已经覆盖了这些核心步骤。实际使用时,最重要的是先确认目标页面的结构,再选择合适的解析方式,同时始终把合规、频率控制和错误处理放在前面。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。