如何解决“没有模块名为proxy”的错误？

Question

我正在学习爬虫，在一些基本的爬虫之后，我尝试从github下载谷歌学者爬虫大师，看看它是如何运行的，在几个我可以修复的错误之后，我遇到了一个ModuleNotFoundError: No module named 'proxy'错误(middleware.py文件，from proxy import PROXIES行是问题)。

这段代码有一些问题，其中包含python 3.x版本中不再支持/建议的解决方案，包括后来被重命名/移动的模块，但我无法确定这是否也是这种情况，希望能得到帮助。

Answer 1

假设您正在谈论这个https://github.com/geekan/google-scholar-crawler爬虫：

我只是尝试在Python2.7上运行它，没有任何问题。简单地看一下misc模块，就会发现相对导入可能存在问题(有关它的一些信息可以在这个队列Relative imports in Python 3中找到)。

所以，简单的答案是使用python2.7，因为它可以让我们专注于理解scrapy爬虫是如何工作的，而不是理解语言版本的差异。

更新:还要确保删除代码中的所有import pdb; pdb.set_trace()断点