如何在Scrapy spider上运行cProfiler

Question

我在Scrapy中有一个爬虫，我想检查瓶颈。我还有几个类提供给主要的Spider类。我想使用cProlifer来检查函数的执行时间：

if __name__ == '__main__':
    import pstats
    import cProfile
    from pstats import SortKey

    cProfile.run("QuotesSpider(scrapy.Spider)", "output.dat")

    with open('output_time.txt', 'w') as f:
        p = pstats('output.dat', stream=f)
        p.sort_stats('time').print_stats()

    with open('output_calls.txt', 'w') as f :
        p = pstats('output.dat', stream=f)
        p.sort_stats('calls').print_stats()

其中QuotesSpider(scrapy.Spider)是爬行器类。可以理解的是，当使用scrapy crawl quotes运行爬行器时，我得到以下错误：NameError: name 'QuotesSpider' is not defined。

如何正确地将cProfile与Scrapy集成？既然Scrapy的请求是异步的，那么cProfile是实现这一点的最佳方式吗？

Answer 1

它有点隐藏，但实际上您可以从命令行使用标准的scrapy命令运行cProfile，例如，使用上面的示例来获得灵感

scrapy crawl spider --profile output.dat

然后你就可以像上面那样分析输出了。