网站有了 Sitemap，并不代表搜索引擎已经发现里面的所有页面。

在维护一个贷款计算器网站时，我给项目增加了一个 PHP 命令行脚本：读取 Sitemap，提取页面 URL，通过百度普通收录 API 分批推送，再交给宝塔计划任务定时执行。

最初以为把链接一次性发出去就够了，实际运行后发现，配额、错误反馈和下次从哪里继续提交，才是需要处理的部分。

本文介绍这套脚本的实现思路与部署过程。

百度后台的 Sitemap 提交，是把地图文件地址交给平台，例如：

API 提交则是把具体页面地址放进请求正文，一行一个：

https://www.example.com/
https://www.example.com/calculator.html
https://www.example.com/articles/example.html

本文采用第二种方式，只是用 Sitemap 作为 URL 清单。

百度官方将 API、手动提交和 Sitemap 文件提交列为普通收录的不同方式，并说明提交配额可能因站点而异。因此，Sitemap 页面显示没有额度时，不能直接推断 API 也没有额度，更不能认为 API 可以绕过配额限制。

实际运行时，应以站点后台和接口返回为准。提交成功，也不代表已经抓取或收录。

下载 Sitemap
    ↓
解析、校验并去重 URL
    ↓
读取上次提交位置
    ↓
提交 1 条，获取剩余额度
    ↓
按额度分批提交
    ↓
保存进度，输出日志

我的项目使用 PHP CLI，运行环境需要 cURL 和 DOM/XML 扩展。

 类型 Sitemap。如果文件根节点是 

，里面列的是子地图地址，需要先读取子地图，不能把它们当作待收录页面直接提交。

三、解析 XML，不要直接抓取所有 loc

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/</loc>
  </url>
  <url>
    <loc>https://www.example.com/calculator.html</loc>
  </url>
</urlset>

在 PHP 中，可以使用 DOM 和 XPath 定位 

// 以下为解析环节的代码节选，$xml 为已下载的 Sitemap 内容。

if (
    stripos($xml, '<!DOCTYPE') !== false
    || stripos($xml, '<!ENTITY') !== false
) {
    throw new RuntimeException('不接受 DTD 或实体声明');
}

$document = new DOMDocument();

$previous = libxml_use_internal_errors(true);
$loaded = $document->loadXML(
    $xml,
    LIBXML_NONET | LIBXML_NOBLANKS
);
libxml_clear_errors();
libxml_use_internal_errors($previous);

if (!$loaded) {
    throw new RuntimeException('Sitemap XML 格式无效');
}

if ($document->documentElement?->localName !== 'urlset') {
    throw new RuntimeException('当前只支持 urlset 类型');
}

$xpath = new DOMXPath($document);

$nodes = $xpath->query(
    '/*[local-name()="urlset"]'
    . '/*[local-name()="url"]'
    . '/*[local-name()="loc"]'
);

if ($nodes === false) {
    throw new RuntimeException('无法读取 URL 节点');
}

，可以避免 XML 默认命名空间导致查询不到节点。

取出链接后，还要做校验。本项目只允许本站 HTTPS 地址，拒绝其他域名、带用户凭据或片段标识的地址，再按完整 URL 去重。

下载环节也设置了超时、响应体大小限制，并保留 HTTPS 证书校验。不能因为 Sitemap 来自自己的网站，就完全省略输入检查。

提交内容不是 JSON，也不是整个 XML 文件，而是换行分隔的页面地址：

// 节选：$curl 已使用经校验的百度接口地址初始化。
// 超时、协议限制、响应大小限制和错误处理在完整脚本中配置。

curl_setopt_array($curl, [
    CURLOPT_POST => true,
    CURLOPT_POSTFIELDS => $body,
    CURLOPT_FOLLOWLOCATION => false,
    CURLOPT_CONNECTTIMEOUT => 10,
    CURLOPT_TIMEOUT => 30,
    CURLOPT_HTTPHEADER => [
        'Content-Type: text/plain',
        'Accept: application/json',
    ],
]);

 参数应按照当前百度后台提供的内容配置。带不带 

、使用 HTTP 还是 HTTPS，都不要凭感觉替换。

准入密钥放在服务器配置中，由程序读取，不写进源码、计划任务命令或公开截图。本项目通过配置加载器读取 

配置文件还应避免被 Web 访问，并限制读取权限。已经公开过的密钥，应重新生成。

我在接入时，后台提供的推送接口使用 HTTP；尝试改成 HTTPS 后，遇到了证书域名不匹配。

这种错误不应该通过关闭证书校验解决。应先核对官方接口地址、DNS 和代理配置；如果官方提供可用的 HTTPS 入口，优先使用并保留证书验证。

如果只能使用 HTTP，要清楚其风险：请求中的密钥和 URL 没有传输加密。把密钥放进 

 可以减少代码泄露风险，但不能解决 HTTP 明文传输的问题。

网上的示例经常直接设置“每天提交多少条”，但这个数字不一定适用于自己的站点。

我的脚本先提交 1 条，根据成功响应中的 

$batchLimit = $remaining === null
    ? 1
    : min(1000, $remaining);

 是脚本自己的批次上限，不是对所有站点 API 限额的承诺。

表示这次接受了 1 条，当天还剩 9 条可提交额度。后续最多再发送 9 条，而不是继续发送整个 Sitemap。

第一次请求本身也可能因为额度耗尽而失败。遇到这种情况，应记录错误并结束本次任务，不要循环重试。

六、低额度时，要记住下次从哪里开始

假设 Sitemap 有 41 条链接，当天只能接受 10 条。

如果每天都从第一条开始提交，后面的页面可能一直轮不到。因此，脚本会保存提交位置：

{
  "sitemap_hash": "URL列表的SHA-256摘要",
  "next_offset": 10
}

下次运行时，从索引 10 开始，处理完末尾后再回到列表开头。

需要说明的是，这是一种轮转提交方式，不是永久去重队列。完整轮转一遍后，旧链接还可能再次提交。

本项目在 URL 列表或顺序变化时会重置进度。这种实现适合规模较小、变化不频繁的网站。如果每天新增大量页面，更适合维护“新增或实质更新 URL”的独立队列，避免列表变化后反复从头开始。

进度表示已经处理到的位置，也不等于这些链接都成功提交。接口返回的无效 URL、非本站 URL 仍需要单独检查。

 参数，只下载和解析 Sitemap，不调用百度 API。

在当前服务器上的测试命令为：

/www/server/php/82/bin/php \
  /www/wwwroot/www.daikuantool.com/bin/submit-baidu-sitemap.php \
  --dry-run

这里的 PHP 路径对应宝塔 PHP 8.2，其他环境需要调整。

确认 URL 数量符合预期后，再执行正式提交：

/www/server/php/82/bin/php \
  /www/wwwroot/www.daikuantool.com/bin/submit-baidu-sitemap.php

这些命令以已经部署本项目完整脚本为前提，不能仅靠本文的代码节选运行。

手动执行成功后，在宝塔的计划任务中创建 Shell 脚本任务，将正式提交命令填入任务内容。对于这个规模的网站，我采用每天执行一次的方式；具体时间只需避开服务器繁忙时段，没有必要追求所谓“最佳提交时刻”。

任务应使用具备必要读写权限的低权限用户运行。还要确保该用户能读取配置、写入日志和进度文件。

脚本使用进程锁，避免一次任务尚未结束，下一次又开始提交。

八、日志必须能说明发生了什么

提交结果 Sitemap=41，已发送=10，百度接受=10，
非本站=0，无效=0，剩余额度=0，下次位置=10

其中“百度接受=10”不能写成“成功收录=10”。

。应结合接口返回的错误说明判断原因，例如：

错误信息写入日志前，应清理换行和控制字符，并避免输出包含密钥的完整请求地址。

这套脚本解决的是重复提交操作：从 Sitemap 获取清单，按照接口额度发送，再把执行结果和进度记录下来。

对小型网站，PHP CLI 配合宝塔计划任务就能完成这项工作。页面数量增加后，可以再改成新增页面优先的提交队列。

。推送任务只是网站维护的一部分；链接能正常访问、页面内容有用，以及搜索引擎是否实际抓取和收录，仍然需要分别检查。

PHP 实战：读取 Sitemap，通过百度 API 定时提交网站链接

编程语言

后端

开发工具

网站有了Sitemap不等于所有页面已被搜索引擎发现。本文介绍一个PHP命令行脚本：读取Sitemap、提取URL、通过百度普通收录API分批推送，配合宝塔计划任务定时执行。重点解决配额管理、错误反馈和提交进度保存问题，适合小型网站日常收录维护。

服务器

JSON

热销域名限时优惠，新客首年免费！


domain

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

PHP 实战：读取 Sitemap，通过百度 API 定时提交网站链接

PHP 实战：读取 Sitemap，通过百度 API 定时提交网站链接

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐