回答情况：
提问时间：
问题标签：
5回答
将删除robots.txt使该网站再次“可搜索”。
出于好奇，您是否有一个robots.txt来避免索引，但改变了您的想法，并希望得到索引。
浏览 0提问于2011-01-18得票数 4
7回答
我在www.example.com/A/B/C/NAME (A，B，C更改，名称是静态的)上有一堆文件，我基本上想在robots.txt中添加一个命令，这样爬虫就不会跟随任何在末尾有名字的链接。在robots.txt中使用的最佳命令是什么？
浏览 0提问于2010-02-19得票数 1
我已经使用robots.txt限制了我站点中的一个文件夹。该文件夹由在建的站点组成。谷歌已经索引了所有处于测试阶段的网站。所以我使用了robots.txt。我首先提交了站点，并且启用了robots.txt。现在www.mysite.com/robots.txt的状态是成功。但谷歌仍在列出这些测试链接。以下是我为robots.txt编写的代码...
浏览 1修改于2010-09-08得票数 6
robots.txt文件可以在YOAST SEO插件的Edit Files下编辑。如果您访问站点，您可以看到robots.txt是这样生成的：Disallow: /User-agent: *Disallow: /wp-includes/Disallow: /wp-admi
浏览 1提问于2014-05-09得票数 2
org.springframework.web.servlet.handler.SimpleUrlHandlerMapping"><props><prop key="/robots.txt">robotsController</prop>
浏览 0提问于2010-10-01得票数 0
回答已采纳
我在一个joomla网站上工作，robots.txt在捣乱我.我把它放在domain.com/ have /robots.txt上，我只想阻止用户浏览目录。在我的域中没有其他robots.txt实例。
为什么我对robots.txt的更改被忽略了？还有其他文件可以覆盖它吗？
浏览 0提问于2011-12-15得票数 1
回答已采纳
我的Joomla根目录中有一个robots.txt，上面写着：Disallow: /administrator/Disallow: //Disallow: /modules/Disallow: /templates/我对robots
浏览 5提问于2014-08-11得票数 0
回答已采纳
在一个now服务器上，我现在必须调整一下，我注意到robots.txt是空的。我想知道空的robots.txt和根本没有文件之间是否有区别。
在这两种情况下，爬虫的行为会有所不同吗？那么，只删除一个空的robots.txt安全吗？
浏览 0提问于2015-03-06得票数 34
回答已采纳
robots.txt文件？我仔细检查了一下，服务器上不存在robots.txt。然后我查看了robots.txt文件的内容，它包含来自服务器的404页。如服务器上所示：ls: cannot access robots.txt: No such file or directory
但是在wget镜像文件夹中，创建了一个robots.txt文件。
浏览 0修改于2015-02-18得票数 4
回答已采纳
我是网站编码的新手，但我一直在研究网站地图及其到robots.txt文件的链接，因为谷歌站长不会添加我的网站地图，因为很明显我的robots.txt屏蔽了它们。这是我的robots.txt文件：
我只是刚开始，所以我会添加更多的编码随着时间的推移，但现在可以有人比我更好的理解，告诉我有什么问题，这不是我的实际网站。谢谢。
浏览 0提问于2017-04-02得票数 0
我需要一些robots.txt的帮助。据我所知，WordPress自动创建一个robots.txt文件。但是，我需要从自动生成的robots.txt文件中排除一个页面。假设页面名为"myPage“。如何防止myPage被索引？如果我制作自己的静态robots.txt，它会被WordPress的dynamic覆盖吗？谢谢
浏览 0提问于2011-04-15得票数 1
回答已采纳
2回答
我在我的robots.txt文件中使用了以下代码：但是，我的一个竞争对手正在使用他的网站在谷歌和排名第一的位置上表现很好robots.txt文件无关紧要吗？
浏览 2修改于2015-06-06得票数 1
我已经更新了一些robots.txt文件中的url和文件，以阻止google搜索结果中的url's和文件，但仍然显示在搜索结果中。根据一个站点的建议，我试图通过以下步骤更新robots.txt。注意:在Google工具中，Health ->阻止URL的-> robots.txt文件-下载日期可以追溯到两个日期。
浏览 0提问于2012-10-09得票数 7
回答已采纳
目前我在.htaccess文件中有以下内容：RewriteBase /RewriteRule ^(.*)$ http://%1/$1 [R=301,L]
RewriteRule ^(.*)([^/])$ /$1$2/ [R=302,L]
浏览 9提问于2016-08-18得票数 1
回答已采纳
1回答
我对这个机器人文件有一些疑问。Disallow: /administrator/Disallow: /func/Disallow: /inc/Disallow: /login/Disallow: /Scripts/Disallow: /store/img/Disallow: /store/StoreSys.s
浏览 4修改于2016-10-23得票数 1
回答已采纳
可能重复: 我需要robots.txt吗？
根据我的理解，robots.txt只需要做一些与规范不同的事情，比如排除某个文件目录等等，但是如果这是真的，为什么这么多人认为它在每个网站上都很重要呢？
浏览 0修改于2017-04-13得票数 0
回答已采纳
包含以下规则：Allow: //apiDocs网址在站点地图中，但是根据Google工具，这些robots.txt规则禁止它被爬行。我应该如何改变我的robots.txt以实现这一点？
浏览 2修改于2014-10-02得票数 0
回答已采纳
我一直阻止谷歌使用robots.txt文件为我的网站建立索引。最近，我从谷歌的一位员工那里读到一篇文章，他说你应该用元标签来做这件事。这是否意味着Robots.txt不能工作？因为我正在使用CMS，所以我的选择非常有限，使用robots.txt文件就容易多了。我的问题是，如果我继续使用robots.txt文件而不是元标记，那么最糟糕的情况是什么。
浏览 0提问于2018-09-04得票数 3
回答已采纳
在每个WordPress安装中，都有一个默认的虚拟robots.txt文件，其内容如下Disallow: /wp-admin/这与服务器无关，因为它在我的本地环境中使用旧的项目。
知道为什么吗？
浏览 0修改于2017-08-01得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号