“刮伤教程”中的扭曲临界未处理错误

Question

我是编程新手，我正在尝试学习刮刮，使用刮伤教程：http://doc.scrapy.org/en/latest/intro/tutorial.html

所以我运行了"scrapy scrapy dmoz“命令，得到了以下错误：

2015-07-14 16:11:02 [scrapy] INFO: Scrapy 1.0.1 started (bot: tutorial)
2015-07-14 16:11:02 [scrapy] INFO: Optional features available: ssl, http11
2015-07-14 16:11:02 [scrapy] INFO: Overridden settings: {'NEWSPIDER_MODULE':     'tu
torial.spiders', 'SPIDER_MODULES': ['tutorial.spiders'], 'BOT_NAME':   'tutorial'}

2015-07-14 16:11:05 [scrapy] INFO: Enabled extensions: CloseSpider, TelnetConsol
e, LogStats, CoreStats, SpiderState
Unhandled error in Deferred:
2015-07-14 16:11:06 [twisted] CRITICAL: Unhandled error in Deferred:
2015-07-14 16:11:07 [twisted] CRITICAL:

我正在使用windows 7和python 2.7。有人知道问题出在哪里吗？我怎么才能解决这个问题？

编辑:我的蜘蛛文件代码是：

# This package will contain the spiders of your Scrapy project
#
# Please refer to the documentation for information on how to create and manage
# your spiders.
import scrapy


class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
     start_urls = [
    "http://www.dmoz.org/computers/programming/languages/python/books/",
    "http://www.dmoz.org/computer/programming/languages/python/resources/"
]

    def parse(self, response):
        filename = response.url.split("/")[-2] + '.html'
        with open(filename,'wb') as f:
            f.write(response.body)

items.py代码：

import scrapy

class DmozItem(scrapy.Item):
    title = scrapy.Field()
    link = scrapy.Field()
    desc = scrapy.Field()

和平执行方案清单：

• 引导-管理(0.3.3)
• cffi (1.1.2)
• 特征(14.3.0)
• 密码学(0.9.3)
• cssselect (0.9.1)
• Django (1.7.7)
• django-auth-ldap (1.2.4)
• django-调试-工具栏(1.3.0)
• django-mssql (1.6.2)
• django-pyodbc (0.2.6)
• django-pyodbc-azure (1.2.2)
• django-审查人(0.2.3)
• django-回归(1.8.5)
• django-夏季说明(0.6.0)
• django-windows-工具(0.1.1)
• django-wysiwyg-编者(0.4.3.2)
• enum34 (1.0.4)
• ez-安装(0.9)
• flup (1.0.2)
• idna (2.0)
• ipaddress地址(1.0.13)
• iso8601 (0.1.4)
• 测井(0.4.9.6)
• lxml (3.4.4)
• 机械化(0.2.5)
• MySQL-python (1.2.4)
• pbr (0.10.8)
• 枕头(2.7.0)
• 和平执行方案(7.1.0)
• pyasn1 (0.1.8)
• pyasn1 1-模(0.0.6)
• 2.14解析器(2.14)
• pymongo (2.6)
• pyodbc (3.0.7)
• pyOpenSSL (0.15.1)
• pypm (1.4.3)
• python-ldap (2.4.18)
• pythonselect (1.3)
• pywin32 (218.3)
• 排队(1.2.2)
• 刮伤(1.0.1)
• 硒(2.44.0)
• 服务-身份(14.0.0)
• 安装工具(18.0.1)
• 六(1.9.0)
• 平方解析(0.1.15)
• 装卸工(1.3.0)
• 扭曲(15.2.1)
• virtualenv (1.11.6)
• virtualenv-克隆(0.2.5)
• 虚拟包装器(4.3.2)
• 虚拟包装器-powershell (12.7.8)
• w3lib (1.11.0)
• xlrd (0.9.2)
• zope.interface (4.1.2)

这不是我的母语，而是我的母语。

Answer 1

我也开始学刮痕了，也遇到了同样的问题。经过一个下午的努力，我终于发现这是由于pywin32模块只下载而不安装。您可以尝试在cmd中输入下面的命令以完成pywin32模块的安装，然后再次尝试爬行：

python python27\scripts\pywin32_postinstall.py -install

我希望这会有帮助！

Answer 2

简单的回答是你错过了pywin32!

其他答案基本上是正确的，但不是100%正确。pywin32不是pip安装！您必须从这里下载安装程序包：

http://sourceforge.net/projects/pywin32/files/pywin32/

确保得到正确的位: 32或64。在我的例子中，我没有意识到在我的64位计算机上安装了32位版本的Python，安装程序失败了，因为“无法在注册表中找到Python2.7安装”。我不得不安装32位版本的pywin32。一旦我这样做，抓取爬虫网站工作。

Answer 3

我看不出你把物品写成文件是怎么回事。但可能是进口的。尝试这一点，如果这不工作尝试，pip安装pywin -update和pip安装Twisted -update，这应该重新安装任何损坏的文件。此外，我不知道这是否是Stack的问题，但你有一些错误的空位。从scrapy.spiders进口蜘蛛

from {Projectname}.items import {Itemclass}
import scrapy


class DmozSpider(scrapy.Spider):
    name = "dmoz"
    allowed_domains = ["dmoz.org"]
    start_urls = [
    "http://www.dmoz.org/computers/programming/languages/python/books/",
    "http://www.dmoz.org/computer/programming/languages/python/resources/"]

    def parse(self, response):
        filename = response.url.split("/")[-2] + '.html'
        with open(filename,'wb') as f:
            f.write(response.body)