Scrapy问题

Question

我正在尝试让SgmlLinkExtractor正常工作。

签名如下：

SgmlLinkExtractor(allow=(), deny=(), allow_domains=(), deny_domains=(), restrict_xpaths(), tags=('a', 'area'), attrs=('href'), canonicalize=True, unique=True, process_value=None)

我只是在使用allow=()

所以，我进入

rules = (Rule(SgmlLinkExtractor(allow=("/aadler/", )), callback='parse'),)

因此，初始url是'http://www.whitecase.com/jacevedo/'，我正在输入allow=('/aadler',)，并期望'/aadler/'也会被扫描。相反，爬行器扫描初始url，然后关闭：

[wcase] INFO: Domain opened
[wcase] DEBUG: Crawled </jacevedo/> (referer: <None>)
[wcase] INFO: Passed NuItem(school=[u'JD, ', u'Columbia Law School, Harlan Fiske Stone Scholar, Parker School Recognition of Achievement in International and Foreign Law, ', u'2005'])
[wcase] INFO: Closing domain (finished)

我在这里做错了什么？

这里有没有成功使用Scrapy的人可以帮我完成这个爬虫？

谢谢你的帮助。

我在下面包含了爬行器的代码：

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import HtmlXPathSelector
from scrapy.item import Item
from Nu.items import NuItem
from urls import u

class NuSpider(CrawlSpider):
    domain_name = "wcase"
    start_urls = ['xxxxxx/jacevedo/']

    rules = (Rule(SgmlLinkExtractor(allow=("/aadler/", )), callback='parse'),)

    def parse(self, response):
        hxs = HtmlXPathSelector(response)

        item = NuItem()
        item['school'] = hxs.select('//td[@class="mainColumnTDa"]').re('(?<=(JD,\s))(.*?)(\d+)')
        return item

SPIDER = NuSpider()

注意:所以不会让我张贴超过1个网址，因此替换初始网址为必要的。真对不起。

Answer 1

您正在覆盖它所显示的"parse“方法。"parse"，是CrawlSpider中用于跟踪链接的私有方法。

Answer 2

如果您查看文档，就会清楚地显示"Warning“。

“编写爬网爬网程序规则时，请避免使用parse as callback，因为爬网爬网程序使用parse方法本身来实现其逻辑。因此，如果覆盖parse方法，爬网爬网程序将不再工作。”

url for verification

Answer 3

allow=(r'/aadler/'，...