回答情况：
提问时间：
问题标签：
我想限制爬虫对我在Heroku上运行的rails应用程序的访问。如果我使用的是Apache或nginX，这将是一项简单的任务。由于该应用程序部署在Heroku上，因此我不确定如何在HTTP服务器级别限制访问。
我曾尝试使用robots.txt文件，但有问题的爬虫程序不支持robot.txt。
浏览 0修改于2013-12-23得票数 4
回答已采纳
基本上，爬虫在网站上运行的频率很高，导致负载增加。这会导致带宽消耗，从而给其他人带来糟糕的用户体验。我想知道像谷歌、亚马逊和电子海湾这样的网站是如何防止这些事情的：不能设置诸如连接或数据包/时间/ip之类的阈值，因为这将导致站点上的适
浏览 0修改于2011-10-14得票数 0
我不确定我是否正确的阅读，但似乎这可能是由雅虎爬虫造成的。错误报告在许多不同的URL上，这使它看起来像一个爬虫。而且，这似乎是一个合法的请求，因为它是通过外部IP路由的内部IP。我的问题是：
Mozilla/5.0
浏览 1提问于2014-01-22得票数 8
我完全是Snort IDS软件和IDS概念的新手，我需要知道是否可以使用Snort来检测隐形-恶意-网络爬虫！换句话说，我可以定义snort规则来检测恶意网络爬虫吗?!！
浏览 4修改于2014-09-21得票数 0
我刚刚偶然发现了，这是一个PHP的插件，它承诺通过阻止垃圾邮件和恶意爬虫访问网站来检测它们。
ASP.NET和ASP.NET MVC也有类似的东西吗？编辑:我特别感兴趣的解决方案，将检测网站的访问模式-这些将防止屏幕抓取网站作为一个整体，或至少使其作为一个非常慢的过程，因为机器人将不得不作为一个常规用户在他的点击频率和在点击中发现的模式(100个链接访问深度我所说的恶意爬虫主要是指那些构建其他网站副本的机器人，但也指的是试图在网站上定位一些可提交表单并提交垃圾信息的垃圾邮件。
浏览 2修改于2010-04-22得票数 6
回答已采纳
我已经读到了很多关于多态和变质恶意软件的文章，以及一旦他们被发现就如何逃避基于签名的检测。这些技术似乎被用来避免AVs和IDS的反复检测。我突然意识到，恶意软件作者的首要目标可能是防止他们的恶意软件被分析。是否有类似的技术，恶意软件作者已经使用，以防止他们的恶意软件第一次被发现，使他们永远不会得到报告/分析的第一？
浏览 0修改于2019-10-29得票数 6
我想知道是否有人对如何在C#中记录javascript与浏览器的交互有任何建议。它背后的原因是我想设计一个网络爬虫，记录任何javascript交互，我想通过潜在的筛选来发现任何种类的恶意调用。
浏览 0提问于2012-12-04得票数 0
几周后，这个爬虫的行为就会出现在访问过的网站的Google Analytics账户中。我想要防止这种情况，因为它弄乱了我用户的GA报告。爬虫不执行任何javascript，并具有以下用户代理: Mozilla/5.0 (兼容；Appname Crawler；+)如何防止这种情况发生？
浏览 2提问于2019-05-04得票数 2
就我的Template.JS使用数组和克隆的能力而言，我担心黑客可能会将恶意脚本输入到数组中，并使用恶意数据输入创建另一个克隆框。如何防止有人向阵列中输入恶意数据？如果有一个插件或脚本可以防止恶意数据出现在数组中，那就太棒了！我知道有一件事，你不能在输入中插入代码。但我担心任何浏览器中的console.log可能会干扰...？
浏览 31提问于2017-06-18得票数 1
回答已采纳
最近，我把一些隐藏的链接，在一个网站，以诱捕网络爬虫。(使用CSS可见性隐藏样式，以避免用户访问它)。所以现在我的问题是：(3)有没有办法描述他们的行为？
我在网上搜索，但找不到任何有价值的信息。请您给我提供一些资
浏览 0提问于2013-12-30得票数 1
回答已采纳
我正在浏览auth2.0协议1，以及验证密钥RFC 2，它很好地解释了该协议如何防止恶意应用程序监听网络流量。但是，我无法理解auth 2.0协议是如何防止恶意代码在浏览器上工作的。现在，如果有恶意代码在浏览器上执行，它总是可以访问cookie/本地存储并获得代码验证器。
是否有协议增强(类似于RFC-7636)，以防止基于cookie的攻击？如果没有，我们如何减轻这种情况？
浏览 5修改于2021-10-07得票数 0
回答已采纳
所以我的问题是我相当理解如何通过限制要使用的函数集来解决(1)问题。我更关心(2)，因为很难过滤坏代码。样式可能包含恶意代码，这些代码将用户会话发送到某些外部源，然后伪造其身份。我注意到上传的样式并不在外部框架中，因此窃取用户会话似乎是一个明显的问题。
有没有人对上述问题有更好的了解？
浏览 1修改于2013-04-13得票数 2
我创建爬虫只是为了实践，我每隔几千个网站就会得到这样的东西：什么样的恶意软件/脚本可以以这种方式在我的PC上执行，有什么方法可以直接保护我自己不受代码的影响？
浏览 0提问于2012-08-14得票数 1
回答已采纳
因此，这是一个关于防止DoS攻击的最佳实践的一般性问题，我只是想了解大多数人是如何处理来自同一IP地址的恶意请求的，而这正是我们目前面临的问题。我认为最好是尽可能高地拦截真正恶意IP的IP，以防止使用更多的资源，特别是在加载应用程序时。
有什么想法？
浏览 1修改于2010-08-28得票数 5
回答已采纳
最近，我在一个网站上放了一些隐藏链接，以便捕获网络爬虫。(使用CSS可见性隐藏样式，以避免人类用户访问它)。所以现在我的问题是：(3)有没有办法描述他们的行为？
我在网上搜索了一下，但找不到任何有价值的信息。
浏览 2修改于2013-12-30得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号