当用户提出请求时,我正在尝试运行django项目中的刮取蜘蛛,因此我目前正在测试来自刮伤的医生的代码,以便从脚本中运行蜘蛛。为了测试如何将蜘蛛导入django项目,我将一个文件添加到django项目中,该文件位于我放置scrapy蜘蛛的同一个目录中(即urls、设置和wsgi文件所在的位置)。当我试图从蜘蛛文件导入函数来运行爬虫进程时,我会得到一个导入错误。这是我所用的声明:
from trydjango18.ticket_city_scraper.ticket_city_scraper.ticket_city_scraper.spiders.tc_spiders import spiderCrawl这可能看起来很模糊,所以下面有一个文件路径的屏幕截图。导入spider.py文件的正确方法是什么?
丝状体带刮刀蜘蛛

带有测试文件的文件

UPDATE I能够让爬行器从脚本中运行;但是,我现在正在从条目模块的蜘蛛文件中获得另一个导入错误。我认为这很可能是因为只有spiders.py的路径被添加到脚本中,而没有添加其他必要的模块。以下是我使用的语句(以及脚本中的其余代码):
import imp
tc_spider = imp.load_source('tc_spider', '/home/elijah/Desktop/trydjango18/src2/trydjango18/trydjango18/ticket_city_scraper/ticket_city_scraper/spiders/tc_spider.py')
bandname = raw_input("Enter bandname")
tc_spider.spiderCrawl(bandname)发布于 2015-07-21 04:20:20
正如我所看到的,有两个错误:
ticket_city_scraper。
应:
从trydjango18.ticket_city_scraper.ticket_city_scraper.spiders.tc_spiders导入spiderCrawltc_spiders.py。
添加tc_spiders.py或从tc_spider.py导入。考虑到你问过
spider.py文件
我假设您是指tc_spider.py,因此一个完整的解决方案是:
from trydjango18.ticket_city_scraper.ticket_city_scraper.spiders.tc_spider import spiderCrawl还要确保:
__init__.py。tc_spiders.py/tc_spider.py包含模块级函数spiderCrawl。https://stackoverflow.com/questions/31527844
复制相似问题