在多个网站上使用一个Scrapy爬虫

Question

我需要创建一个用户可配置的网络蜘蛛/爬虫，我正在考虑使用Scrapy。但是，我不能硬编码域和允许的URL regex:es --这将在GUI中配置。

如何(尽可能简单地)使用Scrapy创建一个爬行器或一组爬行器，其中域和允许的URL regex:es是动态可配置的？例如，我将配置写到一个文件中，然后爬行器以某种方式读取它。

Answer 1

警告:这个答案是针对Scrapy v0.7的，从那时起，爬虫管理器api发生了很大变化。

覆盖默认的SpiderManager类，从数据库或其他地方加载您的自定义规则，并使用您自己的规则/正则表达式和domain_name实例化自定义爬行器

在mybot/settings.py中：

SPIDER_MANAGER_CLASS = 'mybot.spidermanager.MySpiderManager'

在mybot/spidermanager.py中：

from mybot.spider import MyParametrizedSpider

class MySpiderManager(object):
    loaded = True

    def fromdomain(self, name):
        start_urls, extra_domain_names, regexes = self._get_spider_info(name)
        return MyParametrizedSpider(name, start_urls, extra_domain_names, regexes)

    def close_spider(self, spider):
        # Put here code you want to run before spiders is closed
        pass

    def _get_spider_info(self, name):
        # query your backend (maybe a sqldb) using `name` as primary key, 
        # and return start_urls, extra_domains and regexes
        ...
        return (start_urls, extra_domains, regexes)

现在是mybot/spider.py中的自定义爬行器类：

from scrapy.spider import BaseSpider

class MyParametrizedSpider(BaseSpider):

    def __init__(self, name, start_urls, extra_domain_names, regexes):
        self.domain_name = name
        self.start_urls = start_urls
        self.extra_domain_names = extra_domain_names
        self.regexes = regexes

     def parse(self, response):
         ...

备注：

• 如果您想利用CrawlSpider的规则system
• 来运行爬虫使用：./scrapy-ctl.py crawl <name>，其中name被传递给SpiderManager.fromdomain，是从后端系统
• 检索更多爬虫信息的关键，因为解决方案覆盖了默认的SpiderManager，编写一个经典的爬虫(每个爬虫一个python模块)不起作用，但是，我认为这对您来说不是问题。有关默认爬行器管理器TwistedPluginSpiderManager

的更多信息

Answer 2

您需要的是动态创建爬行器类，将scrapy提供的最喜欢的通用爬行器类(添加了rules的CrawlSpider子类，或XmlFeedSpider等)子类化，并添加domain_name、start_urls，以及可能的extra_domain_names (和/或start_requests()等)，当您从您的图形用户界面(或配置文件等)中获取或推断它们时，添加它们。

Python使得动态创建类对象变得很容易；一个非常简单的例子可能是：

from scrapy import spider

def makespider(domain_name, start_urls,
               basecls=spider.BaseSpider):
  return type(domain_name + 'Spider',
              (basecls,),
              {'domain_name': domain_name,
               'start_urls': start_urls})

allspiders = []
for domain, urls in listofdomainurlpairs:
  allspiders.append(makespider(domain, urls))

这为您提供了一个非常简单的爬行器类列表--在实例化它们之前，您可能想要向它们添加parse方法。调味...；-)。

Answer 3

在domo上进行无耻的自我推广！您需要为您的项目实例化示例中给出的爬虫。

此外，您还需要使crawler在运行时可配置，这只是将配置传递给crawler，并在运行时覆盖配置更改时的设置。