如何使用Pyquery与刮伤？

Question

我的目标是将pyquery与scrapy一起使用，显然，从scrapy.selector导入PyQuerySelector返回ImportError:无法在爬行蜘蛛时导入名称PyQuerySelector。

我遵循这个特定的gist https://gist.github.com/joehillen/795180来实现pyquery。

有什么建议或教程可以帮助我完成这项工作吗？

Answer 1

您可以声明一个类并制定规则，在规则提取器的回调属性中，默认情况下给parse_item一个scrapy去解析()函数

def parse_item(self, response):
    pyquery_obj = PyQuery(response.body)
    header = self.get_header(pyquery_obj)
    return {
        'header': header,
    }


def get_header(self, pyquery_obj):
    return pyquery_obj('#page_head').text()