我可以将robots.txt规则组合在一行上,用空格隔开吗?
这个能行吗?
User-agent: * Disallow: /发布于 2013-03-18 01:15:42
不是的。请参阅谷歌Robots.txt规范,特别是文件格式部分。
预期的文件格式是以UTF-8编码的纯文本。该文件由由CR、CR/LF或LF分隔的记录(行)组成。将只考虑有效的记录;所有其他内容都将被忽略。例如,如果生成的文档是HTML页面,则只会考虑有效的文本行,其余的将被丢弃,而不会出现警告或错误。
因此,行之间的断线是必要的。
发布于 2013-03-18 01:22:37
该文件必须由一个或多个记录组成,由一个或多个空行分隔。
<field>:<optionalspace><value><optionalspace>
<field>:<optionalspace><value><optionalspace>看上去像是:
User-agent: *
Disallow: /或者没有可选的空格和更多的换行:
User-agent:*
Disallow:/https://webmasters.stackexchange.com/questions/45203
复制相似问题