文章/答案/技术大牛

发布

社区首页 >问答首页 >是否需要"robots.txt“？

问是否需要"robots.txt“？
EN

Webmasters Stack Exchange用户

提问于 2012-02-20 19:47:45

回答 1查看 493关注 0票数 0

可能重复: 我需要robots.txt吗？

根据我的理解，robots.txt只需要做一些与规范不同的事情，比如排除某个文件目录等等，但是如果这是真的，为什么这么多人认为它在每个网站上都很重要呢？我应该把它放在每个网站上才能确定吗？

回答已采纳

发布于 2012-02-20 19:58:14

如果你没有任何你不想告诉搜索引擎的东西，你就没有索引(或爬行)，它不会影响你的索引。

见谷歌回复的这个问题。

票数 2

页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://webmasters.stackexchange.com/questions/26206

复制

相似问题

问是否需要"robots.txt“？EN