回答情况：
提问时间：
问题标签：
当抓取一个网页时，网页的结构一直在变化，我的意思是它的动态性导致我的爬虫停止工作。是否有一种机制可以在运行完整的爬虫程序之前识别网页结构的变化，以便识别结构是否已经改变。
浏览 32修改于2020-10-01得票数 0
我用c# (使用Microsoft WebCrawler)编写了一个简单的网络爬虫项目，它可以下载特定站点的内容。正如Marcom建议的那样，我从我的网页爬虫和网页浏览器上看到了小提琴的响应。当我的网页爬虫导航到网页时，他会在与网页相反的一个仿真器上接收假信息。
有线索吗？
浏览 1修改于2011-08-09得票数 0
我用Perl构建了一个网络爬虫。HTML::ContentExtractor
从网页中提取文本。示例代码的参考链接问题是，它不会从具有.aspx扩展名的网页中获取文本。它非常适合其他网页，我不知道为什么这个爬虫在aspx页面上会失败。
浏览 8修改于2017-05-23得票数 0
我想建立一个爬虫，需要抓取网页的网址，并将结果返回给一个网页。现在，我从终端启动scrapy并将响应存储在一个文件中。当一些输入发布到Flask、处理并返回响应时，我如何启动爬虫？
浏览 1修改于2016-03-21得票数 5
150个我需要抓取的网页。基于我的无知和缺乏研究，我开始构建每个网页的爬虫，这开始变得难以完成和维护。
根据我到目前为止的分析，我已经知道我想在每个网页上抓取什么信息，很明显，这些网站都有自己的结构。在积极的一面，我注意到每个网站的网页在其网站结构中都有一些共性。我的百万美元的问题，有没有一个单一的技术或单一的网络爬虫，我可以用来抓取这些网站？或者，有没有更好的解决方案，可以减少我需要构建的网络爬虫的数量？此外，这些网络爬虫将仅用于下载我针对的网站的新
浏览 3修改于2021-02-13得票数 0
我试图建立一个搜索引擎，其中一个主要组成部分是一个网络爬虫，我被困在一点，在开始的时候，爬虫将开始爬行。它需要一个网页来爬行。第一个网页应该是什么？
浏览 8修改于2021-12-08得票数 1
只是想知道是否有可能禁止整个网站的爬虫，而只允许特定的网页或部分？像FAST和Ultraseek这样的爬虫支持"allow“吗？
浏览 4修改于2012-01-18得票数 4
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3修改于2015-01-27得票数 0
回答已采纳
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
2回答
我们有一个问题，我们的一些网站，雅虎，谷歌，Yandex，必应Ahrefs和其他所有索引网站在同一时间，这杀死了网站。我们已经尝试过将站点放在cloudflare后面，但是这也没有什么区别，我们所能做的就是阻止源is。目前，我们正在使用Nagios监视站点，当站点变得没有响应能力时，nginx就会重新启动nginx，但这似乎远远不够理想。Robots.txt文件在这里：-Di
浏览 5修改于2017-07-04得票数 1
1回答
我有一个稍微不同的版本的网络爬虫。我想比较它们的性能(特定的时间爬行一个给定的域)。我曾考虑过这两种选择：
同时运行它们，比较所用的时间。
浏览 4提问于2012-09-15得票数 0
我很难理解crawl-delay: 1的含义，如果它没有被忽略，并且实际上被一个给定的网络爬虫所解释。我从斯蒂芬·奥斯特米勒的回答中了解到表示：爬行A页爬行B页然而，在相应的评论中，我从Stephen那里了解到，它将接近或接近60爬行(“获取”)。60 crawlings还是at most 30
浏览 0修改于2020-03-04得票数 1
我正在建立我的网页来支持ssr，我的问题来了，我能知道客户是否是一个网络爬虫，这样我就可以做ssr？
这样，我就可以为我的网页服务，就像它给不是web爬虫的客户端一样。
浏览 0修改于2019-03-27得票数 1
回答已采纳
有一个火狐插件来帮助检查每个网页上的网站现在我想结合WAVE addons +我的爬虫来自动检查网站是否符合508可访问性。
浏览 2提问于2009-10-12得票数 4
回答已采纳
2回答
我正在使用ubuntu10.04和firefox进行网页浏览。突然，爬虫变成了我的搜索提供商，所以我进入搜索栏的右上方，从列表中删除了爬虫，还删除了所有看起来与其相关的附加组件。现在，每当我使用地址栏进行搜索时，它仍然在使用爬虫。我该如何摆脱这个欺骗性的小产品。
浏览 0提问于2013-02-21得票数 1
好吧，过去两天我一直在寻找一台适合我需要的爬虫。我想建立一个搜索引擎，我想自己做索引。这将是一个学术项目的一部分。虽然我没有处理能力来抓取整个网页，我想使用一个爬虫，实际上是能够做到这一点。所以我要找的是一台爬虫
我还找到了。这确实支持多线程，但在查找和跟踪网页链接方面似乎存在问题。虽然我不
浏览 3修改于2013-01-31得票数 2
我想创建或找到一个用Python编写的开源网络爬虫(爬虫/机器人)。它必须找到并跟踪链接，收集元标签和元描述，网页的标题和网页的网址，并将所有的数据放入一个MySQL数据库。
浏览 4修改于2011-08-11得票数 6
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号