排查索引问题时，最容易走错的一步是"用 `site:` 结果反推抓取情况"——搜不到就以为没被抓。实际情况往往相反：抓取一直在发生，只是没走到索引那一步。

下面是我们做站点诊断时反复遇到的三个症结，以及对应的判断方法。

## 症结一：把"抓取"和"索引"当成一件事

先用日志确认访问量。按站点分日志的情况下，只看全局 `access.log` 会得到错误结果——站点流量根本不在那个文件里。

```bash
for f in /var/log/nginx/<site>.access.log*; do
  zcat -f "$f" 2>/dev/null
done | grep -ic <bot-name>
```

我们最近测的一个站，字节爬虫 26 天内访问 512 次，看起来很正常。但把抓取路径拆开统计：

```bash
... | awk '{print $7}' | sed 's/?.*//' | sort | uniq -c | sort -rn
```

`sitemap.xml` 被拉了 34 次，`robots.txt` 56 次，而 85 条 URL 里只有 1 个内容页被真正抓取，反复抓了 22 次。

**判断标准：sitemap 抓取次数远高于内容页抓取数，说明它在"读目录"而不是"读内容"。**

## 症结二：lastmod 全站同一个日期

sitemap 里每条 URL 都有 `<lastmod>`，但很多生成脚本写的是构建当天：

```js
const today = new Date().toISOString().slice(0, 10);
```

结果是每次构建，全站 85 条 URL 的 lastmod 一起变成今天。对爬虫来说，这不是"85 条更新"，而是"一次全量变化"——没有优先级，也就没有展开抓取的理由。

改成按内容自身日期生成，取不到就干脆省略该标签，别编造：

```js
function toLastmod(value) {
  if (!value) return null;
  const d = new Date(value);
  if (Number.isNaN(d.getTime())) return null;
  // 按 UTC+8 取日期，避免凌晨发布的记录被算到前一天
  return new Date(d.getTime() + 8 * 3600 * 1000).toISOString().slice(0, 10);
}
```

注意时区：后端时间通常是 UTC，直接 `toISOString().slice(0,10)` 会把北京时间 0-8 点的记录算到前一天。这个坑不报错，只会让日期悄悄错一天。

## 症结三：只测一个引擎就下结论

"没收录"到底是内容问题还是引擎问题？单看一个引擎永远分不出来。

用同一个域名、同一份 sitemap 做对照：

```bash
... | grep -i bingbot   | ... | grep '^/blog/' | sort -u | wc -l
... | grep -i googlebot | ... | grep '^/blog/' | sort -u | wc -l
```

同一个站，Bing 读了 89 个不同内容页，Google 读了 46 个，字节读了 1 个。再交叉查两套搜索索引：一套命中多个核心页，另一套 0 条。

**这时候才能确定：内容没问题，是单一引擎的抓取策略差异。**

## 一份可以直接用的检查清单

1. 先查日志确认爬虫访问量，不要用搜索结果的条数反推
2. 拆开看抓取路径——sitemap 多、内容页少 = 只读目录
3. 检查 sitemap 的 lastmod 是否全站同日期
4. 用其他引擎做对照，排除内容质量问题
5. 交叉验证两套索引，确认是引擎差异而非站点问题

## 写在最后

抓取、抓取展开、索引，是三件独立的事。sitemap 状态显示"正常"只代表前两件里的一小部分——提交成功不等于会被排期展开，被展开抓取也不等于会进索引。

把这三层分开测，比反复改内容有效得多。

---

> 关于作者：逐曜AI 研发团队

排查索引问题时，最容易走错的一步是"用 site: 结果反推抓取情况"——搜不到就以为没被抓。实际情况往往相反：抓取一直在发生，只是没走到索引那一步。

sitemap 天天被拉、页面却零收录：三个容易被忽略的症结

抓取、抓取展开、索引是三个独立环节，混为一谈会让排查方向全错。本文用一次站点实测说明三个症结：把抓取当索引（512 次访问仅 1 个内容页被抓）、lastmod 全站同日期导致无更新优先级、只测单一引擎无法区分内容问题与引擎问题。附可复现统计命令、按 UTC+8 取日期的修复代码与五步检查清单。

研发工程师

人工智能

排查索引问题时，别用site:结果反推抓取。先看日志确认访问量，再拆抓取路径——sitemap多、内容页少说明爬虫只读目录。检查lastmod是否全站同日期，避免编造日期。用多引擎对照测试，交叉验证两套索引，区分内容问题与引擎策略差异。抓取、展开、索引是独立环节，分开测更有效。

代码解释

Nginx

热销域名限时优惠，新客首年免费！


domain

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

EdgeOne AI 安全实战专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

sitemap 天天被拉、页面却零收录：三个容易被忽略的症结-腾讯云开发者社区-腾讯云

sitemap 天天被拉、页面却零收录：三个容易被忽略的症结

sitemap 天天被拉、页面却零收录：三个容易被忽略的症结

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐