谁能告诉我我哪里搞错了?我是网站编码的新手,但我一直在研究网站地图及其到robots.txt文件的链接,因为谷歌站长不会添加我的网站地图,因为很明显我的robots.txt屏蔽了它们。这是我的robots.txt文件:
我只是刚开始,所以我会添加更多的编码随着时间的推移,但现在可以有人比我更好的理解,告诉我有什么问题,这不是我的实际网站。谢谢。
发布于 2017-04-11 18:06:02
你的图片链接坏了,所以我无法查看它。我不知道您是如何编写代码的,但我在下面提供了正确的语法:
用户代理:*
允许:/
上面的代码将授予所有搜索引擎机器人爬行整个网站的权限。如果要在robots.txt中添加站点地图路径,请使用以下语法:
用户代理:*
允许:/
网站地图:http://yoursitename.com/sitemap.xml
如果我能对你有更多的帮助,请告诉我。
https://stackoverflow.com/questions/43167827
复制相似问题