在批处理文件中使用scrapy crawl命令时继续批处理脚本命令

Question

我使用scrapy从网页抓取信息。我已经写了爬虫代码，它工作得很好。我还有一些其他的python代码文件来优化抓取的数据。

总而言之，我有一个批处理文件，我首先在其中使用"Scrapy Crawl“命令，然后运行我的python文件来优化抓取的信息。

问题是，批处理脚本在"Scrapy Crawl“命令的末尾停止，并且不会继续执行批处理文件中后面的行。我该如何解决这个问题？

批处理文件的内容：

CD "spiders_folder"
scrapy crawl mySpider -o outputData.json -t json
python refineData.py 

Answer 1

批处理文件逻辑将对其他程序的调用作为子例程处理，并在其执行完成后从那里返回原始批处理文件。AFAICR规则的例外情况是一个批处理文件调用另一个批处理文件。在这种情况下，执行不是作为一个子例程来处理，而是交给另一个批处理文件。

除非您使用call调用第二个批处理文件。

(我可能弄错了，这一切对我来说都是很久以前的事了，所以如果我错了，请不要给我太大的打击。)

如果我的猜测是正确的，这就是您遇到麻烦的原因，那是因为scrapy本身是一个批处理文件。然后就这样叫它：

call scrapy crawl mySpider -o outputData.json -t json

Answer 2

我不知道"scrapy"，但你可以试试：

start "" "scrapy" crawl mySpider -o outputData.json -t json

Answer 3

只要你的批处理文件不会变得更复杂(no for loop等)，就把它放在批处理文件的顶部。

@setlocal enabledelayedexpansion