回答情况：
提问时间：
问题标签：
1回答
我已经建立了一个爬虫在一个固定的领域内的螃蟹和提取url匹配的修复正则表达式。如果看到某个特定的url，则爬虫将跟踪该链接。爬虫可以很好地提取url，但是每次我运行爬虫时，它都会返回不同数量的链接，也就是说，每次运行它时，链接的数量都会不同。我在用Scrapy爬行。这是刮痕的问题吗？xyz.nl"] rules = (Rule(SgmlLinkExtractor
浏览 3修改于2014-04-07得票数 2
回答已采纳
2回答
我需要创建一个可以加载到csv文件中的R代码。csv文件包含一个名为" link“的列，对于每个i(Row)，有一个链接，代码需要从这个链接下载链接的内容，并将其放在一个单独的csv文件中。不出所料，我需要在这段代码中实现几样东西，这样它才能成为完成这一特定任务的好爬虫。
我想对每100次下载使用Sys.Sleep函数。这是我的硕士论文，这并不是真正的R编程，但我需要下载的内容，从许多网站，我已经被允许访问。接下来，我要对论文的内容进行分析，这也是我论文的重点所在
浏览 0修改于2012-09-09得票数 0
回答已采纳
1回答
我想建立一个网络爬虫使用R程序为网站""，它可以访问与地址参数的网站，然后从网站获取生成的经度和纬度。这将对我拥有的数据集的长度重复。提前谢谢。
浏览 28修改于2018-06-08得票数 -2
error][yii\web\HttpException:404]"assets/7adcf7ba文件夹7adcf7ba已经不存在了，所以我认为爬虫以某种方式使用了缓存数据。我可以使用r
浏览 0提问于2017-12-04得票数 0
1回答
我有一个网站，统计有多少人访问了这个特定的网页，但我不想计数什么时候搜索爬虫访问他们。java是否有任何方法来识别它是爬虫还是真正的用户？使用Java7和tomcat
谢谢
浏览 2提问于2015-10-21得票数 1
回答已采纳
如何使用爬虫来点击执行js代码的链接，这个链接没有HREF属性。爬虫可以通过客户端在页面上执行js代码吗？我试着这样做，但不起作用 $link = $crawler->filter('#list-65544856 div[class = "DJt7 DJuf"]')->link();
浏览 82修改于2021-02-07得票数 0
我在Haskell用手术刀写一个网络爬虫。request <- parseRequest weblink r<- return $ scrapeStringLike (L8.unpack p) torrentS mapM_ putStrLn我认为它检查用户代理字符串，并对真正的浏览器
浏览 2提问于2017-05-08得票数 0
回答已采纳
有7种数据，所以我将它们保存到S3的7个子文件夹中。我设置了下面的爬虫：-Create为每个S3路径创建一个单一模式进展得很好。但是有一天，新数据的列将被添加，您能告诉我如何更改爬虫的设置以获得包含所有列的新模式吗？
浏览 5提问于2022-11-24得票数 0
回答已采纳
我在做一个爬虫程序。我已经做了爬虫，从网页上塞新闻，它可以上传到我的本地计算机，但我想直接上传到FTP服务器。for i in range(0,len(a),2): rurl, allow_redirects=True)
fileName = datetime.now().strftime(
浏览 4修改于2020-06-09得票数 0
回答已采纳
1回答
我有一个爬虫，爬行几个不同的领域为新的帖子/内容。总内容数为十万页，每天都有很多新的内容添加。因此，为了能够通过所有这些内容，我需要我的爬虫爬行24/7。目前，我将爬虫脚本托管在与爬虫添加内容的站点相同的服务器上，而且我只能在夜间运行cron作业来运行脚本，因为当我这样做时，网站基本上停止工作，因为脚本的加载。换句话说，一个非常糟糕的解决方案。是否有可能继续从同一主机运行爬虫，但在某种程度上平衡负载，以便脚本不会扼杀网站？
我会找什么样的主机/服务器来托
浏览 3修改于2014-03-06得票数 10
回答已采纳
我的目标是创建一个小的网络爬虫。该过程应该继续，直到找不到新的URL。我的当前绘图如下:爬虫提取urls并将其放入池中。因此，每个Worker都有一个对池的引用，因此爬虫可以通过worker访问池对象。{
public functi
浏览 1提问于2017-02-04得票数 1
我需要从网页中抓取一些链接数据，我使用了一个简单的手写PHP爬虫。爬虫通常工作得很好；然后我找到了一个URL，如下所示：此URL在浏览器中键入时工作正常，但我的爬虫程序无法检索此页面
浏览 1提问于2010-02-25得票数 5
回答已采纳
看起来谷歌爬虫无法跟踪v-for生成的链接。Google说：Not found: vergleichen/%7B%7B%20anbieter.slug%20%7D%7D和我认识的所有页面爬虫都无法抓取链接。
我做错什么了？有解决办法吗？
浏览 3修改于2016-04-25得票数 1
我想通过使用wget工具来学习更多关于爬虫的知识。我有兴趣爬行我的部门的网站，并找到该网站上的前100个链接。到目前为止，下面的命令就是我所拥有的。如何限制爬虫在100个链接后停止？wget -r -o output.txt -l 0 -t 1 --spider -w 5 -A html -e robots=on "http://www.example.com"
浏览 0修改于2011-02-12得票数 3
回答已采纳
因此，我正在尝试编写一个爬虫来继续单击网页上的next按钮，直到它不能再点击为止(或者直到我添加一些逻辑使其停止为止)。下面的代码正确地获取了下一页的链接，但只打印了一次。MyprojectSpider(scrapy.Spider): allowed_domains = ['https://www.reddit.com/r/count=25&after=t3_7ax8lb']
start_ur
浏览 0修改于2019-04-24得票数 0
我用python做了一个爬虫，我正在尝试下载这篇文章中的图片--。这个网站的问题是，它会自动调整大小，当我尝试下载文章的图片时，它给我的是320像素(太小)。发生这种情况的原因是爬虫进入url的源文件(view- source：)，它有320个像素。有一种方法可以使图像最大尺寸，或者我如何在浏览器中看到它？这是获取图像的代码：soup = Beautiful
浏览 0提问于2015-11-30得票数 2
我想通过Amazon GLUE 1将我的数据从R.D.S传输到Red-shift，为R.D.S添加了连接，并运行了一个爬虫程序将我的R.D.S架构创建到Amazon GLUE中。现在我有很多表，如何传输此架构或Red-shift中的所有表
我遵循了一个教程，但他在Red-shift中已经有了一个表，所以他使用第二个爬虫来获取模式，然后在源和目标上执行E.T.L作业。
浏览 0提问于2019-12-11得票数 1
1回答
我试图通过使用gem命令安装instagram爬虫：但我收到以下错误：
构建本机扩展。这需要一段时间..。错误:安装instagram爬虫时出错:错误:无法构建创业板本机扩展。当前目录: /var/lib/gems/2.5.0/gems/nokogiri-1.10.1/ext/nokogiri /usr/bin/ruby2.5 -r .
浏览 0提问于2019-02-05得票数 0
4回答
我对scrapy甚至python都是新手，但还是设法写了一个爬虫来完成这项工作。然而，它真的很慢(它需要大约。28小时爬行23770页)。我已经查看了scrapy网页、邮件列表和stackoverflow，但我似乎找不到初学者可以理解的编写快速爬虫的通用建议。也许我的问题不是爬虫本身，而是我运行它的方式。欢迎所有建议！so=1&type=Villa&type=Ejerlejlighed&type=R%%C3%%A6kkehus&kom=&amt=&fraPostnr=&
浏览 1修改于2014-12-09得票数 18
回答已采纳
成功使用爬虫登录后，我似乎无法保持身份验证。一旦我通过了身份验证，我希望能够运行我的每个服务，并检查接收正确的响应。(); array(),
array('X-Requested-With' => "XMLHttpRequest&q
浏览 0提问于2012-07-19得票数 0
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号