回答情况：
提问时间：
问题标签：
from scrapy.contrib.spiders import CrawlSpider, Rulefrom scrapy.item import Item
class MySpider(CrawlSpider
浏览 0修改于2014-04-15得票数 2
为此，我使用CrawlSpider，最终的结果将是获取所有这些数据，并按模型名称将其放入mongoDB文档中。显然，我还没有完成，也还没有达到这一点。我现在拥有的是：import scrapyfromSgmlLinkExtractorfrom scrapy.item import Item
class FenderSpide
浏览 3修改于2014-11-21得票数 0
我正在努力刮一家英国知名零售商的网站，但我的CrawlSpider面临一个问题-我收到了以下错误信息：
import scrapyfrom scrapy.spiders import CrawlSpiderPackagesfrom datetime import date
from selenium import webdriv
浏览 4修改于2017-08-30得票数 0
回答已采纳
-*- coding: utf-8 -*-
from scrapy.item import Item, Field title = Field() price = Field()
class combatzone_spider(CrawlSpider
浏览 0提问于2018-07-24得票数 0
我对scrapy Crawlspider有一个问题:基本上，如果引发了CloseSpider异常，它不会像它应该做的那样退出。代码如下：from scrapy.exceptions import CloseSpiderimport re
name = 'recur
浏览 6修改于2018-08-03得票数 2
回答已采纳
Title说，我正试图使一个CrawlSpider在亚马逊的一些产品工作，但没有任何效果。import scrapyfrom scrapy.spiders import CrawlSpider, Rule
name = &#x
浏览 0修改于2015-10-10得票数 1
回答已采纳
scrapy.contrib.linkextractors.sgml import SgmlLinkExtractorfrom scrapy.contrib.spiders import CrawlSpiderdirbot.items import Websitefro
浏览 1修改于2015-12-24得票数 1
回答已采纳
我一直在尝试理解在web抓取中使用BaseSpider和CrawlSpider的概念。我读过，但在BaseSpider上没有提到。如果有人能解释BaseSpider和CrawlSpider之间的区别，我会很有帮助的。
浏览 5修改于2021-02-10得票数 15
回答已采纳
我在我的CrawlSpider中使用的逻辑如下： url = response.url
# Check to make我的想法是，通过使用self.parse ( CrawlSpider使用的)应用爬行规则和dont_filter=True，我可以避免重复的过滤器。
浏览 2提问于2015-09-19得票数 2
回答已采纳
因此，我想通过保存CrawlSpider通过的所有页面来调试发生这种情况的原因，以便进入当前页面。我现在的蜘蛛是这样的： """Designed to crawl french version of dior.com
浏览 4修改于2020-02-21得票数 0
回答已采纳
import scrapy from scrapy.linkextractors importLinkExtractor
name = 'genericSpider'
allowed_domains = ['example.com这就是CrawlSpider的意义所在，对吗？访问一个页面，收集它的链接，并访问所有这些链接，直到它耗
浏览 11提问于2019-04-24得票数 0
我刚刚开始使用刮伤，我想做以下几件事i=0Use a (mostly) generic CrawlSpider to我已经成功地创建了CrawlSpider：from scrapy.spiders import CrawlSpiderscrapy.crawler import CrawlerProcess
#M
浏览 1提问于2018-02-26得票数 1
回答已采纳
我试着用CrawlSpider来做这件事，这是代码，但是爬行器没有返回结果(打开和关闭后)：from scrapy.contrib.spidersimport CrawlSpider, Rulefrom torent.itemsimport TorentItem
class MultiPagesSpider(CrawlSpid
浏览 1修改于2014-02-27得票数 1
这是我的密码：from scrapy.spiders import CrawlSpider, Rulescrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
class GithubSpider(CrawlSpider
浏览 6修改于2015-12-17得票数 0
回答已采纳
我试图从一般的爬行器转移到CrawlSpider，以利用规则。然而，我的爬虫不再那样工作了。你知道我做错了什么吗？username": response.css(".vcard-username::text").get().strip(),
} 新建(不起作用)： class GitHubSpider(CrawlSpider
浏览 9提问于2021-08-08得票数 0
回答已采纳
我有一个CrawlSpider派生的蜘蛛。当url具有某种格式时，它会回调一个名为parse_item的函数。
浏览 2提问于2014-12-26得票数 1
我以前成功地使用过CrawlSpider。scrapy.linkextractors import LinkExtractorfrom scrapy.spiders import Rule, CrawlSpiderclass YydzhSpider(CrawlSpider): allowed_domains = ['yydzh.com']
start_urls
浏览 0修改于2018-07-14得票数 0
我试图为这个站点编写一个CrawlSpider：，这是我的代码：from scrapy.contrib.spiders import CrawlSpider, Rulescrapy.selector import HtmlXPathSelectorimport re
class ShamsStoresSpider(CrawlSpider
浏览 1提问于2013-11-05得票数 0
回答已采纳
我正在使用CrawlSpider w/ rules处理程序来处理刮取的url。具体来说，"filter_links“检查表中现有的url。如果未找到，则写入新条目。
浏览 1修改于2014-03-17得票数 1
回答已采纳
我很难理解如何在继承自CrawlSpider的蜘蛛中使用rules字段。我的蜘蛛正试图爬过旧金山的黄页披萨目录。我重写了来自CrawlSpider的解析方法。在查看了该类中的解析方法之后，我意识到它检查规则并在这些网站上爬行。注意:知道您要重写什么from scrapy.contrib.spiders import CrawlSpider, Rulefr
浏览 5修改于2014-08-23得票数 8
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号