surge.sh不允许修改robots.txt

文章/答案/技术大牛

发布

1回答

surge.sh

默认的robots.txt文件禁用搜索引擎索引吗？我不能把它换成我自己的。我错过了什么？这是默认的和固定的： User-agent: * Disallow: /

浏览 16提问于2019-01-19得票数 1

3回答

如何在Plone中修改robots.txt？

plone、robots.txt、plone-3.x

我有一个Plone网站，我管理，我想添加一些页面，以不允许的robots.txt。有人知道如何用Plone (v3)修改这个吗？

浏览 2提问于2009-10-05得票数 5

回答已采纳

1回答

不暴露在搜索引擎上

wp-query、search-engines、robots.txt

我有一个博客，但它没有显示在任何搜索引擎。为什么我的wordpress博客不能被看到，但我总是出版。

浏览 0提问于2015-11-14得票数 -1

1回答

我如何让谷歌重新抓取我的网站的描述？

seo、google、google-analytics、google-search-console、google-search

当我第一次向谷歌提交我的网站时，我的网站的robots.txt不允许搜索引擎获取网址，所以每当我进入我的网站域查看谷歌时，描述显示为“由于该网站的robots.txt而无法获得对此结果的描述”。但现在，我修改了我的robots.txt文件，允许搜索引擎爬行网站。我怎样才能强迫谷歌重新抓取我的网站的描述？

浏览 0提问于2016-12-23得票数 2

1回答

Google已经为robots.txt自己建立了索引

search-engine-indexing、robots.txt、google-programmable-search-engine

Google已经对robots.txt进行了索引，现在如果有人搜索'txt‘，它会返回robots.txt文件，这确实不理想(因为这是一个沼泽标准的robots.txt站点，字符串D2实际上出现在文本中谷歌中是否有设置，或者我应该将/robots.txt添加到呃、robots.txt或.中？

浏览 0提问于2018-09-06得票数 5

回答已采纳

1回答

谷歌说我的网站上没有robots.txt就被robots.txt封锁了

google、robots.txt

我的网站上没有robots.txt。我在全局设置中启用了搜索引擎索引。但是，谷歌仍然不能抓取我的网站，因为一个不存在的robots.txt。你已经经历过这样的问题了吗？

浏览 0提问于2018-12-01得票数 0

3回答

漂亮的URL和robots.txt

php、mod-rewrite、laravel、robots.txt、pretty-urls

让我们假设我们使用的是带有mod_rewrite或类似内容的漂亮URL，并且有以下两条路由： User-agent: *..。例如，不允许: /help不允许/help.html和/ /help.html /index.html，而不

浏览 3提问于2014-01-26得票数 0

回答已采纳

2回答

我在一个joomla网站上工作，robots.txt在捣乱我.我把它放在domain.com/ have /robots.txt上，我只想阻止用户浏览目录。默认情况下，它不允许: /images/并且规则有效，无法访问文件夹。我试着添加“不允许”：/图像/缩略图，但是那个没有用。我注释掉了“不允许:/图像/只是为了测试”。该文件夹仍不可访问。在我的域中没有其他robots.txt实例。为什么我对ro

浏览 0提问于2011-12-15得票数 1

回答已采纳

1回答

由于配置错误，无法访问root-dir

.htaccess、mod-rewrite、url-rewriting

这个重写规则不允许我进入example.com/(some-file-here)，例如：example.com/robots.txt 为了显示这个图标，我只需将其放入/images/favicon.ico之类的东西中，但我更喜欢配置正确的.htaccess，并将favicon.ico和robots.txt放入根dir中。在这个规则中我需要做哪些修改才能访问example.com/(some-file-here)

浏览 2提问于2016-06-25得票数 1

回答已采纳

2回答

为什么我在从NSString中删除字符时出错了？

objective-c、nsmutablestring

在我的代码中，我尝试加载一个ROBOTS.TXT文件，然后用“不允许”字符串过滤它们，如果该行有“不允许字符串”，请删除该字符串并返回行的其余部分。下面是ROBOTS.TXT的一个示例不允许:/搜索不允许: /images允许:/目录/关于 不允许: /catalogues不允许</

浏览 0提问于2011-11-26得票数 0

回答已采纳

1回答

在Shopify中更改标题内容类型

shopify、liquid

我使用外部表单从远程页面(移动应用程序)向Shopify的购物车添加一个项目。当此表单提交时，Shopify将您重定向到您可以设置的页面。我创建了一个名为item a的页面，它简单地返回到JSON中购物车中的所有项目。我的想法是，我的移动应用程序将读取这个JSON响应并处理它。header('Content-Type: application/json');

浏览 1提问于2015-03-24得票数 2

回答已采纳

2回答

不允许: /wp-在robots.txt*？

plugins、google、robots.txt

我查看了包含以下内容的robots.txt文件：用户代理：*爬行-延迟:5不允许: /feed/不允许: /trackback/不允许:/wp-管理/不允许:/wp-包含/不允许: /xmlrpc.php我只是在依次地禁用每个插件的过程，看看哪个插件(如果有的话)会导致这一行出现在robots.txt文件中，但是否还有其他原因(例如，核心WordPress特性/设置)？

浏览 0提问于2015-07-28得票数 0

2回答

在google搜索控制台的实时测试url屏幕截图中，没有任何文本可见。

seo、google-search-console

谷歌搜索控制台->网址检查->测试现场网址->视图测试页面->截图这是否意味着爬虫无法在我的网站上爬行。我该怎么做才能让googlebots在整个页面内容(文本和图像)中爬行？📷

浏览 0提问于2019-08-27得票数 1

回答已采纳

1回答

robot.txt以阻止显示目录

google-search-console

几个问题例如，您是否需要放置一个拖尾斜杠：另外，在robots.txt中不允许和添加有什么区别

浏览 1提问于2014-07-26得票数 0

1回答

避免google索引子域

indexing、seo、cpanel

据我所知，对于这类问题，我找不到合适的答案。当您添加第二个域时，cPanel会自动创建子域，比如；比如：Medidary.maindomain.com/blabla.html

浏览 1提问于2013-06-12得票数 0

1回答

子目录可以覆盖父域的robots.txt吗？

robots.txt

我的问题是:如果sith.edu将不允许/rogueone添加到他们的robots.txt中，/rogueone可以使用自己的robots.txt来覆盖这种效果吗？还是谷歌会遵守父域名的robots.txt不允许规则？

浏览 0提问于2020-07-13得票数 1

回答已采纳

2回答

如何没有索引特定的网址？

php、robots.txt、noindex

我在搜索如何没有索引特定的URL，但我没有找到任何具体的信息，以下。<?php if(is_single(X)): ?><?php endif; ?>如果有可能的话，是否可以指定所有以相同的词组或标题开头的URL，如下面的示例所示？ www.test.com/REF-123-mytest.

浏览 2提问于2014-11-11得票数 2

1回答

搜索引擎会尊重robots.txt为一个单独的网站，是一个虚拟目录下的另一个网站？

robots.txt

我是否可以允许我的第二个站点拥有自己的robots.txt文件，而不允许该站点的所有页面？还是我需要修改我的主站点的robots.txt文件并告诉它不允许虚拟目录？

浏览 2提问于2012-10-25得票数 0

回答已采纳

1回答

允许robots.txt中的某些参数

seo、robots.txt

我的robots.txt中有这个，它需要留在那里：然而，我也需要谷歌索引网页，在网址的末尾有?amp。如下所示：有没有办法既允许robots.txt中的那些，又保留前面提到的不允许？

浏览 2提问于2021-01-29得票数 0

1回答

为什么robots.txt的含量在手工访问时以及通过ChromeDriver和Chrome通过Selenium访问时有所不同？

selenium、google-chrome、web-crawler、selenium-chromedriver、robots.txt

我正在努力尊重robots.txt文件，当我在网络上爬行时，我遇到了一些奇怪的事情。我要访问的robots.txt URL是：User-agent: *但是，如果我使用Internet或SeleniumWebDriver (ChromeDriver)打开此链接，则会得到以下内容：# robots.txt# This file is to prevent the crawling and# Ignored: http:/

浏览 1提问于2019-03-22得票数 1

点击加载更多