回答情况：
提问时间：
问题标签：
这是我的代码。我的目标是抓取多个域。我在url数组中设置了域，但是我不能爬行。这是结果:我的代码运行(‘总链接数：'，387) (’新闻链接：'，146)import requestsimport codecs
"user-agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_7_5)",
"ac
浏览 7修改于2015-05-07得票数 1
我有这个密码 for($i=1;$i<=$totalpages;$i++) $client->request('GET&
浏览 2提问于2014-12-27得票数 1
回答已采纳
启动一个测试的新项目在project.clj中添加了大猩猩：运行时获取异常java.xml.bind”]lein选项没有帮助，我尝试在shell中使用export启动java选项，但这造成了JVM的致命异常如果有另一种方法来配置JVM (当然有)，我不知道该怎么做.我通过搜索找到了许多对异常的引用，但没有一个假设
浏览 2修改于2018-07-23得票数 2
回答已采纳
我目前在我的robots.txt中使用以下代码来禁止任何爬虫访问我的网站。但我只想有一个例外，那就是Google AdSense的爬虫。下面是我的代码：谷歌的AdSense爬虫名为“Mediapartners Google”。
我如何才能将其添加为异常，并继续阻止所有其他爬虫？
浏览 18修改于2021-05-27得票数 1
我用Scrapy写了一个爬虫。我发现当我的字符串有中文的时候，logging.error()会抛出一个异常。但爬虫一直在跑！我的问题是:在出现异常时，是否存在强制Scrapy停止的设置？
浏览 3修改于2017-06-08得票数 7
回答已采纳
我的Rails3站点被带有奇怪的accept头的爬虫程序击中，触发异常，如下所示以下是一些导致问题的我真的不关心我返回给这些爬虫的是什么，只是想避免异常。
浏览 0提问于2011-02-05得票数 8
我正试着写一个网络爬虫。当我浏览一个大页面时，我的arraylist变量无法保存所有数据。它被抛到了异常之下。线程java.lang.StackOverflowError".中的异常" thread -0“
保存这些urls的最佳方法是什么，因为我需要访问那些urls和子urls等等。我想保存到数据库或写入文件，但这些机制可能会减慢爬虫性能。
浏览 0修改于2015-11-19得票数 0
我正在用asp.net开发一个网络爬虫。
我的网络爬虫有一个主页，它从HREF标签打开其他HTML页面，下载HTML页面并获取数据。现在的问题是，有时我会得到一个对象引用找不到的异常，有时代码运行得很好。
浏览 1修改于2014-01-06得票数 0
我寻找一个网络爬虫解决方案，可以是足够成熟的，可以简单地扩展。我对以下特性感兴趣..。爬虫应该能够为我探索Web的一部分，并且它应该能够决定哪些站点符合给定的标准
上面的这些事情可以一个一个地完成，而无需付出很大的努力，但我对提供可定制的、可扩展的爬虫的任何解决方案都感兴趣。
浏览 1修改于2021-02-13得票数 7
回答已采纳
我创建了一个新的爬虫并手动运行它。爬虫作业运行时没有出错，但是当我检查日志时，我会收到下面的EOF异常通知。我尝试将一个简单的测试json文件上传到同一个S3桶中，并对它运行爬虫，它完美地解析了模式。因此，我不认为这是一个权限或爬虫配置的问题。
对于如何进一步调试有任何建议吗？
浏览 9提问于2022-09-16得票数 0
回答已采纳
在大多数情况下，响应可以是js或html，因此搜索机器人不会造成问题我如何设置链接，使搜索机器人(谷歌，冰，其他爬虫)不会尝试它？或者-是否有一种类型的响应我应该返回，以便爬虫知道不要返回到那个url？
浏览 2提问于2014-12-03得票数 2
1回答
基本上，它使用命令shell_exec来运行javascript爬虫。当它工作时，它会返回一个字符串。但是，有时js爬虫会变得没有响应，shell_exec就会挂起。and response is: ', $e->getMessage(), "\n";我不确定在PHP中有什么命令可以说“让我们尝试运行这个命令60秒，如果它超过了这个时间，那么让我们抛出一个异常并处理该异常
浏览 0提问于2015-06-12得票数 0
我希望我的爬虫等待5分钟，如果它得到一个SocketConnectException(即，如果互联网连接关闭)，并再次恢复，也可能发送邮件给管理员。我看过源代码，抛出这个异常的方法是私有的，所以我不能重载它们。除了更改源代码之外，还有其他选项可以处理此异常吗？谢谢。
浏览 2修改于2015-06-02得票数 1
回答已采纳
我正在运行一个网络爬虫供我自己使用。我下载了一个，想给它提供种子。我想给它提供大约50个种子。所以我创建了一个字符串数组。我想为爬虫提供一个种子，每次它通过我的for循环。字符串temp =新字符串{"，"；对于(int i= 0；i <=temp.length；i++) { urlsi = tempi；}
爬虫需要分配给不过，我的代码得到了一个外部异常。我想要做的是每次爬行器通过for循环时提供1种种子。在这方面的任何帮助都将不胜感
浏览 7提问于2011-02-21得票数 3
回答已采纳
作为编写爬虫程序(用Node.js编写，但实际上不是重点)的一部分，我有时会收到超时和其他网络异常。某些异常(如http errorcode)可以正确地归因于目标请求端点。例如，当使用http代理抓取时，如何检查异常(如前面提到的超时)是由于代理还是由于请求端点？
浏览 5提问于2013-06-29得票数 0
回答已采纳
我能够在vs代码上运行所有的爬虫，没有任何错误。但是，当我尝试运行调试器时，它会引发异常我在MacOS上。我也可以从终端正确地运行scrapy命令。
浏览 9修改于2021-10-12得票数 0
在Rails应用程序中，我得到了很多这样的异常：据我所见，这似乎是一些爬虫或类似的尝试使用连接作为一个http动词。写得不好的爬虫？试图滥用我的应用程序或web服务器的东西？我能做些什么？完全阻止他们，如果是的话，怎么做？这是一个Rails应用程序，在Apache上运行。
浏览 2提问于2010-10-11得票数 1
回答已采纳
我很想知道这个异常是从哪里来的，以及我如何处理它： 2019-04-12 22:00:55 [scrapy.core.scraper] ERROR: Spider error processing <GET如果我想知道它来自哪里，是因为我想尝试插入一些行，这些行命令将urls添加到一个文件中，该文件专门用于某种类型的异常，使爬虫错误处理产生分析它，纠正它，并在此文件中的这些特定urls上再次启动爬虫，因为这比从一个粗糙的日志文件中启动爬虫更舒服
浏览 13修改于2019-04-14得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号