回答情况：
提问时间：
问题标签：
为此我需要动态robots.txt，我尝试使用从robots.txt到robots.php的重定向。但是如果是site.com/robots.txt，我会看到robots.php文件中的文本，如果是site.com/robots.php，我会看到运行这个程序的结果。我如何修复site.com/robots.txt给我运行robots.php的结果？在nginx中，我使用下一段代码：
location /r
浏览 18提问于2021-02-26得票数 0
前几天上线了一个新网站http://www.golf-clothes.com
因为一开始在编辑模板以及填充内容，就设置了robots禁止蜘蛛访问，为什么我现在修改了robots文件，好几天了谷歌还是提示robots禁止呢？
浏览 192提问于2020-10-15
我应该在robots.txt中使用#End Robots#吗？User-agent: *Disallow: /account/#End Robots#
浏览 0提问于2012-12-07得票数 0
回答已采纳
5回答
将删除robots.txt使该网站再次“可搜索”。
出于好奇，您是否有一个robots.txt来避免索引，但改变了您的想法，并希望得到索引。
浏览 0提问于2011-01-18得票数 4
根据，当我从搜索中排除页面时，Kentico会自动添加以下标记：但我需要的是"noindex,follow"
我曾尝试在我的规范‘ve部件中的OnPreRender方法下删除它，但Kentico不知何故在该事件之后添加了robots标记。我不介意编辑kentico代码，但是在解决方案中搜索"noindex，nofollow“或"robots
浏览 18提问于2021-02-19得票数 0
目前我在.htaccess文件中有以下内容：RewriteBase /RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
RewriteRule ^(.*)([^/])$ /$1$2/ [R=302,L]
浏览 9提问于2016-08-18得票数 1
回答已采纳
我的Joomla根目录中有一个robots.txt，上面写着：Disallow: /administrator/Disallow: //Disallow: /modules/Disallow: /templates/我对robots
浏览 5提问于2014-08-11得票数 0
回答已采纳
1回答
我对这个机器人文件有一些疑问。Disallow: /administrator/Disallow: /func/Disallow: /inc/Disallow: /login/Disallow: /Scripts/Disallow: /store/img/Disallow: /store/StoreSys.s
浏览 4修改于2016-10-23得票数 1
回答已采纳
org.springframework.web.servlet.handler.SimpleUrlHandlerMapping"><props><prop key="/robots.txt">robotsController</prop>
浏览 0提问于2010-10-01得票数 0
回答已采纳
我已经使用robots.txt限制了我站点中的一个文件夹。该文件夹由在建的站点组成。谷歌已经索引了所有处于测试阶段的网站。所以我使用了robots.txt。我首先提交了站点，并且启用了robots.txt。现在www.mysite.com/robots.txt的状态是成功。但谷歌仍在列出这些测试链接。以下是我为robots.txt编写的代码...
浏览 1修改于2010-09-08得票数 6
7回答
我在www.example.com/A/B/C/NAME (A，B，C更改，名称是静态的)上有一堆文件，我基本上想在robots.txt中添加一个命令，这样爬虫就不会跟随任何在末尾有名字的链接。在robots.txt中使用的最佳命令是什么？
浏览 0提问于2010-02-19得票数 1
1回答
我有一个url，我想限制搜索引擎访问： User-agent: *或者我需要写一些更像这样的： Disallow: https://mysite.com/index.aspx User-agent: *
浏览 3提问于2011-12-13得票数 1
回答已采纳
2回答
我在我的robots.txt文件中使用了以下代码：但是，我的一个竞争对手正在使用他的网站在谷歌和排名第一的位置上表现很好robots.txt文件无关紧要吗？
浏览 2修改于2015-06-06得票数 1
robots.txt文件可以在YOAST SEO插件的Edit Files下编辑。如果您访问站点，您可以看到robots.txt是这样生成的：Disallow: /User-agent: *Disallow: /wp-includes/Disallow: /wp-admi
浏览 1提问于2014-05-09得票数 2
我在一个joomla网站上工作，robots.txt在捣乱我.我把它放在domain.com/ have /robots.txt上，我只想阻止用户浏览目录。在我的域中没有其他robots.txt实例。
为什么我对robots.txt的更改被忽略了？还有其他文件可以覆盖它吗？
浏览 0提问于2011-12-15得票数 1
回答已采纳
编辑：
如果我希望我的页面被索引(google跟随其中的链接)，但没有显示在搜索结果中，我应该删除robots.txt并使用带有"noindex“的机器人元标记吗？
浏览 0修改于2018-04-02得票数 1
回答已采纳
.* - [F,L]User-agent: *Disallow: */shopby
####################################
浏览 6提问于2020-04-20得票数 4
回答已采纳
在一个now服务器上，我现在必须调整一下，我注意到robots.txt是空的。我想知道空的robots.txt和根本没有文件之间是否有区别。
在这两种情况下，爬虫的行为会有所不同吗？那么，只删除一个空的robots.txt安全吗？
浏览 0提问于2015-03-06得票数 34
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号