回答情况：
提问时间：
问题标签：
1回答
我启动了一个scrapy项目并创建了这个爬虫： import scrapy
page_number = 2
'https://www.finn.no/car/used/search.html?orgId=9117269&page=1'
for quote in response.cs
浏览 13提问于2020-10-04得票数 0
抓取性爬行example.com
文件"/usr/local/lib/python2.7/dist-packages/Scrapy-0.14.1-py2.7.egg/scrapy/spidermanager.py
浏览 3提问于2012-03-13得票数 35
回答已采纳
1回答
我正在使用scrapy runspider命令在相同的域中抓取大约10,000个具有相同结构的链接。随机地在一些页面之间(大约40%到50%的页面)爬行，但不抓取，因为在我的parse方法中，我计算页面中的特定元素，并根据该元素抓取页面的其他元素。
浏览 2修改于2016-10-19得票数 1
1回答
我已经做了一个抓取器来抓取所有与电子商务网站Cdiscount上的"au-quotidien“相关的类别。机器人应该从最上面的菜单开始，然后访问第二层，然后是第三层，然后是抓取项目。(referer: https://www.cdiscount.com/au-quotidien/alimentaire/pates-riz-/l-1270153.html)
但是我只得到了很少的几个抓取的项目
浏览 13提问于2018-12-18得票数 2
回答已采纳
2回答
我们可以通过哪些方式与银行站点连接，以便从该站点抓取数据？为了了解mint.com是如何连接到银行的，我参考了这个网站，。Yodlee是其中一个选择。
浏览 1修改于2017-04-13得票数 0
回答已采纳
1回答
我正在抓取这个url：response.xpath("//meta[@itemprop='keywords']/@content").extract()
response.xpath
浏览 2修改于2018-05-01得票数 0
2回答
在我的App.js函数中，当它第一次加载时，我想获取一个网站。此网站包含.json数据。当我尝试获取网站时，控制台显示以下错误：localhost:/1 Uncaught (in promise) TypeError: Failed to fetch
App.JS:9 GET https://geolocation-db.com/json/344ec440-6bfc-11eb-
浏览 30提问于2021-02-15得票数 0
回答已采纳
3回答
我一直在尝试设计一个程序，可以从国家气象局抓取文本RSS提要，但我不知道从哪里开始。我想要的东西，将扫描恶劣天气，又名龙卷风手表警告exct，并发送到我的电子邮件。
浏览 1提问于2012-01-07得票数 2
回答已采纳
1回答
所以我有一个播放器和一把抓取枪。当我按下鼠标右键时，鼠标位置在任何物体的方向上，它就会抓取这个物体。但我的问题是，我有一个小圆圈(抓取点)，很难把鼠标放到空中的抓取点圆圈方向上。因此，我可以添加任何偏移f.e.当我的鼠标方向从玩家是2个单位的抓取点的圆，它仍然将抓取器，但自动的抓取线将连接到抓取点的圆。下面是我的抓取器代码： using System.Collections;
using System.Collections.Gene
浏览 18修改于2020-03-25得票数 0
3回答
蜘蛛从一个页面抓取一些特定的链接。然后，它在每个页面中搜索一个youtube链接和一个名称，以将其标识为(页面标题)。它确实找到了我需要的所有链接，但是顺序很奇怪。
爬行器从下到上收集所有页面信息。
浏览 1修改于2012-12-31得票数 0
3回答
有没有人能解释一下使用以下语言编写刮板的优缺点：Perl硒我也想知道在抓取时会面临什么样的问题，以及我应该如何处理它。
浏览 5修改于2016-01-19得票数 0
回答已采纳
1回答
我正试图从谷歌游戏商店得到最新的评论。我跟踪这个问题是为了获得最新的评论，代码片段：import sysimport urllibfrom scrapy.spider import BaseSpiderfrom scrapy.contrib.spiders impo
浏览 0修改于2019-10-09得票数 3
1回答
我试图从BestBuy上获取评论，如果代码是在shell上逐行执行，而不是通过script执行，它提取得很好。怎么啦？ name = 'bestbuybot' start_urls = ['h
浏览 9修改于2020-05-15得票数 0
我正在努力找出如何使用Scrapy Python抓取JSON响应。我能够成功地在同一站点的不同页面上抓取JSON。如果有任何帮助，我将不胜感激。我如何抓取"tournamentGroup“中的值(即id、name)以及年份、标题等。
浏览 19提问于2020-09-10得票数 0
回答已采纳
2回答
我试图建立一个广泛的连续爬虫，我能够提取链接，但我无法抓取他们和提取这些链接。该项目的最终目标是抓取.au域并将其根URL添加到数据库中。
浏览 0修改于2020-06-10得票数 0
回答已采纳
3回答
我使用循环在一个脚本中抓取每个脚本中的数据。但抓取数据的顺序是随机的，或者至少与链接不匹配。
所以我不能将每个子页面的url与输出的数据进行匹配。喜欢:抓取的网址，data1，data2，data3。Data 1，data2，data3 =>这是可以的，因为它来自一个循环，但是我如何添加到循环的当前url，或者我可以设置链接列表的顺序？就像列表中的第一个被抓取为第一个，第二个被抓取为第二个...
浏览 0提问于2018-04-18得票数 0
我正在尝试从获取数据。我正在尝试获取列表中的第一个显示，并将其输出为文本。$hsg = Invoke-WebRequest -Uri http://www.in.com/tv/channel/set-max-51.html##$hsg.Links
浏览 2提问于2013-06-16得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号