改进网页SEO

Question

我是SEO的初学者，我有一个具有这种结构的网站：

/es/index.php /es/clases.php /es/horarios.php /es/tarifas.php /es/contacto.php /es/login.php和我使用了三次:一个用于目录/es/，一个用于/en/，另一个用于/cat/。我想在google上做的事情是这样的：

我想通过这样的目录和它中所有的文件索引网页login.php。谷歌搜索控制台、html和robots.txt都有可能做到这一点吗？

Answer 1

可以将Robots.txt设置为忽略login.php

    User-agent: *
    Disallow: /es/login.php

用户代理适用于所有爬虫，如果您只关注google，它应该是用户代理: googlebot。

除此之外，谷歌将在网站上爬行所有页面，前提是其他内容是正确的。