Bingbot忽略robots.txt并尝试检索trafficbasedsspsitemap.xml

Question

我有一个应用程序的内容不应该被公开索引。因此，我已经禁止访问所有爬虫。

robots.txt：

# Robots shouldn't index a private app.
User-agent: *
Disallow: / 

然而，必应忽略了这一点，每天都会请求一个/trafficbasedsspsitemap.xml文件，我不需要创建这个文件。

我也不需要每天收到这个文件的404错误通知。我只想让bingbot消失，那么我需要做些什么来阻止它发出请求呢？

Answer 1

根据this answer的说法，这是Bingbot检查由用于IIS和Apache的Bing站点地图插件生成的XML站点地图。它显然不能被robots.txt阻止。

Answer 2

对于那些来自谷歌的人来说-

您可以通过apache用户代理检测/重写指令阻止bot，这将允许您完全阻止bingbot。https://superuser.com/questions/330671/wildcard-blocking-of-bots-in-apache

Block all bots/crawlers/spiders for a special directory with htaccess

等。