首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何模拟googlebot以查看React应用程序中的哪些链接将被索引?

问如何模拟googlebot以查看React应用程序中的哪些链接将被索引?
EN

Webmasters Stack Exchange用户
提问于 2020-03-27 13:06:12
回答 1查看 338关注 0票数 2

我正在开发一个反应应用程序。

到目前为止,我的索引覆盖率很低(只有主页被索引了)。

我最近实现了服务器端呈现(SSR),索引覆盖范围似乎要好得多。

话虽如此,感觉就像我在玩SEO游戏盲目。有没有一种方法可以模拟googlebot来查看什么将被索引?希望看到googlebot看到的递归路径。

我知道谷歌搜索控制台,但我只能一次检查一个URL。

EN

回答 1

Webmasters Stack Exchange用户

发布于 2020-03-27 20:52:54

如果您使用的是服务器端呈现(它不依赖于JavaScript),那么您应该能够使用任何爬虫。最受欢迎的可能是:

  • 没有惠特的开放源码,基于命令行,使用递归(-r)选项
  • 尖声蛙 -要求500页后付款,Windows

当然,如果您搜索"web爬虫“或"SEO爬虫”,还有数百个其他选项。

如果您正在您的网站上嗅探用户代理,看看是否应该使用服务器端呈现,您将需要确保您使用服务器端呈现为您选择的爬虫除了Googlebot。

或者,大多数爬虫允许您设置他们报告的User-Agent。例如,对于wget,您可以使用--user-agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

票数 1
EN
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://webmasters.stackexchange.com/questions/128551

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档