回答情况：
提问时间：
问题标签：
当抓取一个网页时，网页的结构一直在变化，我的意思是它的动态性导致我的爬虫停止工作。是否有一种机制可以在运行完整的爬虫程序之前识别网页结构的变化，以便识别结构是否已经改变。
浏览 32修改于2020-10-01得票数 0
我用c# (使用Microsoft WebCrawler)编写了一个简单的网络爬虫项目，它可以下载特定站点的内容。正如Marcom建议的那样，我从我的网页爬虫和网页浏览器上看到了小提琴的响应。当我的网页爬虫导航到网页时，他会在与网页相反的一个仿真器上接收假信息。
有线索吗？
浏览 1修改于2011-08-09得票数 0
我用Perl构建了一个网络爬虫。HTML::ContentExtractor
从网页中提取文本。示例代码的参考链接问题是，它不会从具有.aspx扩展名的网页中获取文本。它非常适合其他网页，我不知道为什么这个爬虫在aspx页面上会失败。
浏览 8修改于2017-05-23得票数 0
我想建立一个爬虫，需要抓取网页的网址，并将结果返回给一个网页。现在，我从终端启动scrapy并将响应存储在一个文件中。当一些输入发布到Flask、处理并返回响应时，我如何启动爬虫？
浏览 1修改于2016-03-21得票数 5
150个我需要抓取的网页。基于我的无知和缺乏研究，我开始构建每个网页的爬虫，这开始变得难以完成和维护。
根据我到目前为止的分析，我已经知道我想在每个网页上抓取什么信息，很明显，这些网站都有自己的结构。在积极的一面，我注意到每个网站的网页在其网站结构中都有一些共性。我的百万美元的问题，有没有一个单一的技术或单一的网络爬虫，我可以用来抓取这些网站？或者，有没有更好的解决方案，可以减少我需要构建的网络爬虫的数量？此外，这些网络爬虫将仅用于下载我针对的网站的新
浏览 3修改于2021-02-13得票数 0
我试图建立一个搜索引擎，其中一个主要组成部分是一个网络爬虫，我被困在一点，在开始的时候，爬虫将开始爬行。它需要一个网页来爬行。第一个网页应该是什么？
浏览 8修改于2021-12-08得票数 1
只是想知道是否有可能禁止整个网站的爬虫，而只允许特定的网页或部分？像FAST和Ultraseek这样的爬虫支持"allow“吗？
浏览 4修改于2012-01-18得票数 4
回答已采纳
嗨，我想做一个网页爬虫，检查URL的数据，如果我做一个简单的Gui，使脚本更容易查找变量的数据，添加代码的gui会使我的网络爬虫效率降低吗？
我需要爬虫尽可能高效，能够尽可能快地处理数据。为这个Python脚本制作一个gui，会不会妨碍web爬虫的性能？
浏览 3修改于2015-01-27得票数 0
回答已采纳
LogCat如下：10-11 09:56:28.312 I/dalvikvm(13613): | group="main" sCount=0 dsCount=0 obj=0x40a32460 self=0x18e5828
10-11 09:56:28.312 I/dalvikvm10-11 09:56:28.320
浏览 2修改于2017-05-23得票数 1
网络爬虫是否只从网页中返回提取的文本？例如，如果web服务器中也存储了一些pdf/doc文件。网络爬虫可以爬行它们并返回它们的内容吗？不管怎样，对于一个好的开源Java网络爬虫有什么建议呢？
谢谢!
浏览 2提问于2011-06-26得票数 0
回答已采纳
2回答
我们有一个问题，我们的一些网站，雅虎，谷歌，Yandex，必应Ahrefs和其他所有索引网站在同一时间，这杀死了网站。我们已经尝试过将站点放在cloudflare后面，但是这也没有什么区别，我们所能做的就是阻止源is。目前，我们正在使用Nagios监视站点，当站点变得没有响应能力时，nginx就会重新启动nginx，但这似乎远远不够理想。Robots.txt文件在这里：-Di
浏览 5修改于2017-07-04得票数 1
1回答
我有一个稍微不同的版本的网络爬虫。我想比较它们的性能(特定的时间爬行一个给定的域)。我曾考虑过这两种选择：
同时运行它们，比较所用的时间。
浏览 4提问于2012-09-15得票数 0
(DynamicLayout.java:261)10-11 09:47:28.288: ERROR/AndroidRuntime(363): at android.widget.TextView.setText(EditText.java:75)
10-11 09:47:28.288: ERROR/Andr
浏览 1修改于2011-10-11得票数 0
回答已采纳
1回答
我有一个200+可编辑的网页，需要硬编码打印成更小的PDF文件(即第1-2，3-8，9，10-11，12-14等)。
既然我每个月都做这个练习，有什么方法可以自动完成这个任务吗？
浏览 4修改于2022-06-30得票数 0
PID: 1192 SIG: 310-11 06:06:34.166PID: 1192 SIG: 310-11 06:06:34.67610-11 06:06:34.966: I/dalvik
浏览 3修改于2012-10-15得票数 0
回答已采纳
10-11 16:08:49.750: E/AndroidRuntime(13831): FATAL EXCEPTION: main10-11(13831): at android.support.v4.app.FragmentManagerImpl.c
浏览 2修改于2013-10-11得票数 2
我很难理解crawl-delay: 1的含义，如果它没有被忽略，并且实际上被一个给定的网络爬虫所解释。我从斯蒂芬·奥斯特米勒的回答中了解到表示：爬行A页爬行B页然而，在相应的评论中，我从Stephen那里了解到，它将接近或接近60爬行(“获取”)。60 crawlings还是at most 30
浏览 0修改于2020-03-04得票数 1
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号