Joomla robots.txt

Question

我的Joomla根目录中有一个robots.txt，上面写着：

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/

我对robots.txt文件不太了解，但这些都是根目录。因此，这意味着谷歌不爬行所有这些？但这不是很糟糕吗？我要把网站的内容编入索引或者什么的..。

诚挚的问候

Answer 1

不，谷歌不爬行这些目录，不，这不是件坏事。您不希望Google这样做，因为这些目录不应该被直接访问。Joomla有它的主index.php文件在根目录中，everything被推到根目录中。唯一会被抓取的东西是您指定组件的菜单项。

Answer 2

不，Google不爬行这些目录，但根据本文：

http://www.searchenginejournal.com/allow-googlebot-access-javascript-css-optimal-rankings/119113/

您应该允许一些具有、CSS、和Javascript文件的目录爬行Googlebot。

因此，将您的robots.txt文件更改如下：

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /cli/
Disallow: /components/
Disallow: /images/
Disallow: /includes/
Disallow: /installation/
Disallow: /language/
Disallow: /libraries/
Disallow: /logs/
Disallow: /media/
# Disallow: /modules/    <-------- Commented out using #
# Disallow: /plugins/    <-------- Commented out using #
# Disallow: /templates/    <-------- Commented out using #
Disallow: /tmp/

如果您想要允许一个特定的路径，则应该使用以下语法：

Allow: /plugins/system/jch_optimize/assets2/
Allow: /plugins/system/jch_optimize/assets/