关于Robots.txt的问题

Question

我需要一些robots.txt的帮助。

在“隐私设置”下，我选择“我希望我的博客对每个人都是可见的，包括搜索引擎……”

据我所知，WordPress自动创建一个robots.txt文件。但是，我需要从自动生成的robots.txt文件中排除一个页面。假设页面名为"myPage“。如何防止myPage被索引？

如果我制作自己的静态robots.txt，它会被WordPress的dynamic覆盖吗？

另外，WordPress的自动生成的robots.txt是否排除了不应该索引的文件，比如wp？

谢谢!

-Laxmidi

Answer 1

您可以在根目录中创建一个名为robots.txt的文件，如果您还没有这个文件

用户代理：*

不允许: /myPage

是那个页面的格式，没有允许，只有不允许。按照上述格式删除页面

WP可能没有生成robots.txt，我相信只有当您希望站点没有索引时，它才会生成。

我不确定WP是否有内置的机制不索引您的管理stuff....but，我的我从来没有被索引。如果您担心，请阻止添加的整个目录。

不允许: /wp-admin/

每行一项/不允许