回答情况：
提问时间：
问题标签：
我厌倦了bingbot，如何对抗这个机器人。它创建了太多会话。RewriteCond %{HTTP_USER_AGENT} ^bingbot/.* [OR,NC]RewriteRule ^(.*)$ http://go.away/ [L]
浏览 5修改于2015-03-24得票数 0
HTTP/1.1" 200 5539 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)"
这种情况在IP中发生过几次，但我无法理解bingbot是如何从该IP执行的。
浏览 0修改于2017-02-28得票数 -4
robots.txt Disallow:Disallow: /cgi-bin/Disallow: bingbot
浏览 2修改于2016-01-09得票数 9
回答已采纳
我如何允许Goolebot和Bingbot爬行我的站点的内容？我打算把它写在下面，但我不确定。我在正确的轨道上吗？User-agent: googlebotUser-agent: bingbotDisallow
浏览 0修改于2015-09-18得票数 0
回答已采纳
ht=1&q=address+label+coupon+codes +富兰克林+理发&ht=1 HTTP/1.1“200 11475 "-”Mozilla/5.0 (兼容；bingbot/2.0；+)“q=Martell+Gay+Bryce&ht=1 HTTP/1.1”200 11475 "-“Mozilla/5.0 (兼容；bingbot/2.0；+)”157.56.92.164 - 16/Oct/ht=1&=蒙特雷+时尚+外
浏览 9修改于2013-11-07得票数 0
回答已采纳
一些只来自bingbot的请求直接进入后端，但是如果我们从curl中触发这个请求，它们就会像往常一样处理。请看一下配置。/2.0; +http://www.bing.com/bingbot.htm)"x.x.x.x - - [04/May/2016:15:33/2.0; +http://www.bing.com/bingbot.htm)" "myse
浏览 2提问于2016-05-04得票数 0
我似乎有一个bingbot在我的网站上访问我的几个页面，向员工发送电子邮件。它将在随机时间访问页面，并触发一遍又一遍发送的电子邮件。
网站上的大多数页面都会检查用户身份验证，但这些电子邮件页面不会。
浏览 2提问于2021-12-02得票数 0
然而，BingBot & BaiduSpider仍然出现在我的日志中(而且非常丰富)。
浏览 0修改于2014-02-17得票数 6
Googlebot和Bingbot一直在爬行我的网站。1- Googlebot和Bingbot忽略了我的不允许，并且正在重新搜索我在robots.txt中定义的页面-机器人如何知道使用TabID返回并重新搜索旧页面？
浏览 4提问于2013-06-14得票数 0
回答已采纳
现在，GoogleBot已经正确地处理了noscript内容，并在搜索结果中显示了它们，但是BingBot并没有对页面进行索引。必应结果
我已经确定站点地图已经提交，并等待了大约四天。具体来说，是否有任何证据表明BingBot不会处理noscript标记中的内容？
浏览 0修改于2016-08-11得票数 2
我的日志显示了bingbot / msnbot在我的一些urls中附加了%2Findex.php。知道为什么吗？这使得它们无效，如果任何用户被重定向，它将不会将它们带到正确的页面。7&page=chemistry&page2=crystallization%2Findex.php HTTP/1.1" 200 7308 "-" "Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com&
浏览 0修改于2016-01-13得票数 3
回答已采纳
最近我的网站超载了，结果发现bingbot是罪魁祸首。我在必应网站管理员工具中为我的网站设置了最低的爬行率，但不管怎么说，在所有爬虫中，bingbot拥有最多的访问权限(大约每天30000次请求)。你是否也经历过来自bingbot的繁忙交通？为什么当我把爬行率设定到最低的时候它就不表现出来了？
浏览 0提问于2014-06-12得票数 1
当bing试图索引一些包含unicode字符的页面时，我的网站出现了很多错误。http://www.example.com/kjøp http://www.example.com/kjøp谷歌很好地使用了这样的链接。如何帮助bing理解挪威字母？
浏览 1修改于2014-07-30得票数 6
我只想让bingbot消失，那么我需要做些什么来阻止它发出请求呢？
浏览 2修改于2013-04-04得票数 0
回答已采纳
最近，我认为是msnbot/bingbot访问了我的站点，但是他们没有在他们的用户代理中报告。
浏览 0提问于2011-06-02得票数 1
回答已采纳
我有一件奇怪的事情发生了，bingbot正在爬行我的网站，其中一个URL看起来像这样：
function getNumericValue($value) {
if
浏览 1修改于2012-01-11得票数 0
an/existing/page/on/my/site+ForceRecrawl:+0 - 80 - 207.46.195.105 HTTP/1.1 Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm)
我每天从这些IP地址中得到一两个这样的地址: 207.46.195.105，65.52.110.190。另一件我认为是疯狂的事情是，URL http:/
浏览 0修改于2012-02-27得票数 2
回答已采纳
我有一个网站(动态房地产网站)，它已经运行了将近一年，突然之间，宾博特都试图访问完全低价版本的主页面，导致404个错误。https://example.com/Houses-for-sale-in-Suburb-STATE-3345.php我不知道如何处理这一点，如果我将所有大写URL转换为小写，那么机器人仍将尝试访问大写版本。
浏览 0修改于2016-11-02得票数 3
我在我的网站上使用了BingbotMVC3，但是当ASP.NET来爬行我的网站时，我的日志中出现了这些奇怪的错误。其他人看到这个问题并知道解决方案(不转向验证可能不是一个好主意)吗？System.Web.HttpException (0x80004005): A potentially dangerous Request.Path value was detected from the client (:).
at System.Web.HttpRequest.ValidateInputIfRequir
浏览 0提问于2012-02-04得票数 1
回答已采纳
我经常从AS8075的13.x.y.z (在这些范围内)的IP地址中获得点击率，这些地址在用户代理中以宾博特的形式出现，但这些地址列在几个块列表中，不通过验证宾博特工具，并且没有主机名，因此无法通过正向-反向DNS检查。其他Microsoft范围中已知的合法微软机器人通常具有双向DNS记录，将IP地址链接到*.search.msn.com主机名，反之亦然。我的问题是:尽管有迹象，这些是合法的Microsoft bot IP地址吗?如果这些是合法的Microsoft机器人，为什么不分配主机名，清除恶意软件，并将它们添
浏览 0修改于2019-01-28得票数 2
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号