从脚本中运行Scrapy :模块未找到错误- projectname.items不是一个包

Question

我试着运行多个爬虫，就像文档中说的那样。脚本是通过调用scrapy crawl crawler运行的。

现在，通过python crawler.py调用它，我得到了以下错误：

从crawler.items导入LinkItem ModuleNotFoundError:没有名为“爬行器”的模块；“爬虫”不是一个包

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from scrapy.crawler import CrawlerProcess

from crawler.items import LinkItem
from crawler.settings import DB_CREDS

有人知道怎么处理这件事吗？

我的项目叫爬虫。这会不会是个问题？

等级：

Crawler
|-crawler
|  |-__pycache__
|  | |-...
|  |-spiders
|  | |-__pycache__
|  | |-__init__.py
|  | |-crawler.py
|  |-__init__.py
|  |-items.py
|  |-middlewares.py
|  |-pipelines.py
|  |-settings.py
|-scrapy.cfg

Answer 1

我认为这是一种Python路径问题。您通过python解释器而不是Scrapy运行脚本，因此您必须确保Python知道您的包在哪里。如果您以Scrapy命令运行，那么scrapy将由scrapy.cfg来处理它。

解决这个问题的最简单方法是将项目路径附加到PYTHONPATH中。例如，export PYTHONPATH=YOUR_PROJECT_PATH:$PYTHONPATH。您可能需要将其添加到.bashrc文件中。

还有其他解决方案，例如，遵循包的发行版将您的项目安装到站点包python库中。

谢谢。