我正在开发一个反应应用程序。
到目前为止,我的索引覆盖率很低(只有主页被索引了)。
我最近实现了服务器端呈现(SSR),索引覆盖范围似乎要好得多。
话虽如此,感觉就像我在玩SEO游戏盲目。有没有一种方法可以模拟googlebot来查看什么将被索引?希望看到googlebot看到的递归路径。
我知道谷歌搜索控制台,但我只能一次检查一个URL。
发布于 2020-03-27 20:52:54
如果您使用的是服务器端呈现(它不依赖于JavaScript),那么您应该能够使用任何爬虫。最受欢迎的可能是:
当然,如果您搜索"web爬虫“或"SEO爬虫”,还有数百个其他选项。
如果您正在您的网站上嗅探用户代理,看看是否应该使用服务器端呈现,您将需要确保您使用服务器端呈现为您选择的爬虫除了Googlebot。
或者,大多数爬虫允许您设置他们报告的User-Agent。例如,对于wget,您可以使用--user-agent="Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"
https://webmasters.stackexchange.com/questions/128551
复制相似问题