安排scrapy爬虫每N分钟运行一次

Question

我需要帮助来安排我的爬虫每N分钟运行一次。早些时候，我看到大多数人使用reactor.callLater和reactor.run来达到这个目的，但现在似乎没有可能使用这些功能了。我怎么才能有计划地安排它呢？

def run_crawl():
    """
    Run a spider within Twisted. Once it completes,
    wait 5 seconds and run another spider.
    """
    runner = CrawlerRunner(get_project_settings())
    runner.crawl(SpiderA)
    runner.crawl(SpiderB)
    deferred = runner.join()
    deferred.addCallback(reactor.callLater, 5, run_crawl)
    return deferred

run_crawl()
reactor.run()

目前，我的爬虫程序是由Windows任务调度程序调度的，但我想以编程方式调度它。

Answer 1

您可以尝试使用名为schedule的外部模块：

schedule github link

如果它不符合你的需要，请告诉我。