开发者社区

文档建议反馈控制台

文章/答案/技术大牛

发布

社区首页 >问答首页 >抓取像"/search/ label /“这样的博客标签url安全吗？

问抓取像"/search/ label /“这样的博客标签url安全吗？
EN

Stack Overflow用户

提问于 2021-12-10 10:53:01

回答 1查看 85关注 0票数 0

关于博客搜索引擎优化的问题，我能不能从爬虫中禁止像/search或/label这样的URL，我应该通过允许标记吗？

EN

回答 1

Stack Overflow用户

发布于 2021-12-10 18:07:38

我不建议不允许"/search或/label“。它将阻止搜索机器人导航到您的网站。如果您正在管理一个站点地图，那么您可以阻止它。它可能会提高您的排名，因为您不是索引无用的网页。

您可以阅读参考资料：

票数 0

EN

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/70303372

复制

相似问题