robots.txt文件

Question

我有一个url，我想限制搜索引擎访问：

以下是可接受的：

    User-agent: *
    Disallow: https://mysite.com/

或者我需要写一些更像这样的：

    User-agent: *
    Disallow: https://mysite.com/index.aspx

或者我应该直接说：

    User-agent: *
    Disallow: /index.aspx

Answer 1

最后一个就足够了。你不需要整个网址，如果你转移你的robots.txt到另一个网站，你也必须改变这个文件，这不是你想要的。但您确实需要从/开始，这意味着它是您的域的根。

或者你可以这样做：

全部禁止

User-agent: *
Disallow: /

不允许%1页

User-agent: *
Disallow: /index.php

不允许%1个目录

User-agent: *
Disallow: /dirname/

不允许%2页和%2目录

User-agent: *
Disallow: /index.php
Disallow: /subpage.php
Disallow: /dirname/
Disallow: /otherdirname/

允许1页(仅限index.php)

User-agent: *
Disallow: /~index.php