首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >robots.txt阻止了URL

robots.txt阻止了URL
EN

Stack Overflow用户
提问于 2017-04-02 19:34:41
回答 1查看 57关注 0票数 0

谁能告诉我我哪里搞错了?我是网站编码的新手,但我一直在研究网站地图及其到robots.txt文件的链接,因为谷歌站长不会添加我的网站地图,因为很明显我的robots.txt屏蔽了它们。这是我的robots.txt文件:

robots.txt

我只是刚开始,所以我会添加更多的编码随着时间的推移,但现在可以有人比我更好的理解,告诉我有什么问题,这不是我的实际网站。谢谢。

EN

回答 1

Stack Overflow用户

发布于 2017-04-11 18:06:02

你的图片链接坏了,所以我无法查看它。我不知道您是如何编写代码的,但我在下面提供了正确的语法:

用户代理:*

允许:/

上面的代码将授予所有搜索引擎机器人爬行整个网站的权限。如果要在robots.txt中添加站点地图路径,请使用以下语法:

用户代理:*

允许:/

网站地图:http://yoursitename.com/sitemap.xml

如果我能对你有更多的帮助,请告诉我。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43167827

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档