首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >单行Robots.txt

单行Robots.txt
EN

Webmasters Stack Exchange用户
提问于 2013-03-18 00:41:36
回答 2查看 1.5K关注 0票数 3

我可以将robots.txt规则组合在一行上,用空格隔开吗?

这个能行吗?

代码语言:javascript
复制
User-agent: *  Disallow: /
EN

回答 2

Webmasters Stack Exchange用户

回答已采纳

发布于 2013-03-18 01:15:42

不是的。请参阅谷歌Robots.txt规范,特别是文件格式部分。

预期的文件格式是以UTF-8编码的纯文本。该文件由由CR、CR/LF或LF分隔的记录(行)组成。将只考虑有效的记录;所有其他内容都将被忽略。例如,如果生成的文档是HTML页面,则只会考虑有效的文本行,其余的将被丢弃,而不会出现警告或错误。

因此,行之间的断线是必要的。

票数 8
EN

Webmasters Stack Exchange用户

发布于 2013-03-18 01:22:37

该文件必须由一个或多个记录组成,由一个或多个空行分隔。

Robots.txt必须使用以下格式:

代码语言:javascript
复制
<field>:<optionalspace><value><optionalspace>
<field>:<optionalspace><value><optionalspace>

看上去像是:

代码语言:javascript
复制
User-agent: *
Disallow: /

或者没有可选的空格和更多的换行:

代码语言:javascript
复制
User-agent:*

Disallow:/

有用链接

票数 3
EN
页面原文内容由Webmasters Stack Exchange提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://webmasters.stackexchange.com/questions/45203

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档