robots.txt和seo排名

Question

只有一行内容的robots.txt有什么意义吗？

用户代理：*

与完全没有它相比呢？

Answer 1

不，谷歌(不要拐弯抹角了，谷歌是你应该关心的搜索引擎)默认情况下会抓取一切，除非你告诉它不要这样做。

如果您想帮助Google，请使用google网站管理员工具，并以正确的格式提交网站地图

http://www.google.com/support/webmasters/bin/answer.py?hl=en&answer=156184

Answer 2

不，这样做没有意义。