我如何才能限制搜索引擎不读取我们的.php url,因为我们希望我们干净的url出现在搜索引擎中。
我使用htaccess文件从所有的urls中删除.php,但是搜索引擎同时使用了这两个urls,即使用.php和不使用.php。
我想让搜索引擎只读没有.php扩展名的urls。
发布于 2015-12-15 18:37:20
在您的网站根目录中创建一个robots.txt文件,并包含以下内容以避免对.php扩展进行爬网。
User-agent: *
Disallow: /*.php$参考:https://developers.google.com/webmasters/control-crawl-index/docs/robots_txt?hl=en
https://stackoverflow.com/questions/34286737
复制相似问题