Schedule scrapy命令scrapy crawl

Question

我已经构建了一个爬虫来抓取和提取匹配固定正则表达式的链接。现在，我想在windows任务调度程序中调度任务，以便它使用命令行提示符scrapy crawl crawlername执行爬虫程序。有什么有用的帮助吗？

Answer 1

您可以创建一个包含以下内容的bat文件：

cd path_to_scrapy_project
scrapy crawl crawlername

然后使用Windows任务计划程序计划此脚本。

Answer 2

您可以创建一个类似run.py的文件

并将您的脚本放在带有多个爬行器的示例中：

import os
import logging

def crawl():
    os.system('scrapy crawl spider1')
    os.system('scrapy crawl spider2')
    os.system('scrapy crawl spider3')

schedule.every(5).minutes.do(crawl)
while True:
    schedule.run_pending()```