用Anaconda运行抓取蜘蛛

Question

你好，我正在努力完成在以下网站上找到的教程：

https://doc.scrapy.org/en/latest/intro/tutorial.html

我已经完成了“我们的第一个蜘蛛”的所有步骤，但是当我试图运行这个蜘蛛时，当我运行“刮擦爬行引号”时，我会得到以下错误消息：

文件"//anaconda/lib/python2.7/site-packages/scrapy/spiderloader.py"，第43行，在load KeyError(“蜘蛛未找到：{}".format(spider_name)) KeyError：‘蜘蛛未找到:引号’

因此，出于某种原因，蜘蛛经理没有找到蜘蛛。但是，当我直接导航到蜘蛛目录时，我可以在没有错误的情况下找到蜘蛛。

Answer 1

Scrapy命令行选项“爬行”需要一个Scrapy项目，以便找到指定的爬行器并启动爬行(请参阅Documents这里，其中列出了"Requires : yes“)。

实际上，Scrapy将无法知道系统中所有Scrapy蜘蛛的位置，选择一个，并运行它。对于需要项目的选项，您必须位于Scrapy项目的目录中，该目录中将包含文件scrapy.cfg。

如果不希望使用“爬行”，则可以使用“run蜘蛛”，并指定包含爬行器的Python文件。