首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >Scrapy不会抓取所有页面

问Scrapy不会抓取所有页面
EN

Stack Overflow用户
提问于 2013-03-01 06:39:32
回答 1查看 4.7K关注 0票数 3

这是我的工作代码:

代码语言:javascript
复制
from scrapy.item import Item, Field

class Test2Item(Item):
    title = Field()

from scrapy.http import Request
from scrapy.conf import settings
from scrapy.selector import HtmlXPathSelector
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.contrib.spiders import CrawlSpider, Rule

class Khmer24Spider(CrawlSpider):
    name = 'khmer24'
    allowed_domains = ['www.khmer24.com']
    start_urls = ['http://www.khmer24.com/']
    USER_AGENT = "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.22 (KHTML, like Gecko) Chrome/25.0.1364.97 Safari/537.22 AlexaToolbar/alxg-3.1"
    DOWNLOAD_DELAY = 2

    rules = (
        Rule(SgmlLinkExtractor(allow=r'ad/.+/67-\d+\.html'), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        hxs = HtmlXPathSelector(response)
        i = Test2Item()
        i['title'] = (hxs.select(('//div[@class="innerbox"]/h1/text()')).extract()[0]).strip(' \t\n\r')
        return i

它只能丢弃10或15条记录。总是随机的数字!我无法获取所有具有类似http://www.khmer24.com/ad/any-words/67-anynumber.html模式的页面

我真的怀疑Scrapy完成了爬行,因为重复了请求。他们建议使用dont_filter = True,然而,我不知道在我的代码中应该把它放在哪里。

我是Scrapy的新手,真的需要帮助。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2013-03-05 13:46:39

1.“他们建议使用dont_filter = True,然而,我不知道在我的代码中应该放在哪里。”

此参数位于CrawlSpider继承的BaseSpider中。(scrapy/spider.py),默认情况下设置为True。

2.“它只能销毁10到15条记录。”

原因:这是因为start_urls没有那么好。在这个问题中,爬行器开始在http://www.khmer24.com/中爬行,让我们假设它有10个urls要遵循(满足模式)。然后,蜘蛛继续爬行这10个urls。但是,由于这些页面包含的令人满意的模式太少,爬行器需要遵循一些urls (甚至没有urls),这会导致停止爬行。

可能的解决方案:我上面所说的原因只是重申了icecrime的观点。解决方案也是如此。

  • 建议使用'All ads‘页面作为start_urls。(您也可以使用主页作为rules.)
  • New start_urls,并使用新的 rules:

follow=True =(#提取所有链接并跟踪其中的链接#(因为默认情况下没有回调表示允许)#(如果没有给出"allow“,它将匹配所有链接。)Rule(SgmlLinkExtractor(allow=r'ad/.+/67-\d+.html'),(SgmlLinkExtractor()),#提取匹配“ad/any-words/67-anynumber.html.html”模式的链接#并使用爬行器的方法解析它们(不跟随它们) parse_item =‘parse_item_item’),)

参考:SgmlLinkExtractor,CrawlSpider example

票数 5
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/15147057

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档