为Scrapy构建一个RESTful瓶API

Question

API应该允许包含用户希望刮取的URL的任意HTTP请求，然后Flask应该返回刮取的结果。

下面的代码适用于第一个http请求，但是在扭曲的反应堆停止后，它不会重新启动。我甚至可能不会这样做，但我只想在Heroku上安装一个RESTful擦伤API，到目前为止，我所能想到的就是。

有更好的方法来架构这个解决方案吗？或者我如何允许scrape_it在不停止扭曲的反应堆(不能再次启动)的情况下返回？

from flask import Flask
import os
import sys
import json

from n_grams.spiders.n_gram_spider import NGramsSpider

# scrapy api
from twisted.internet import reactor
import scrapy
from scrapy.crawler import CrawlerRunner
from scrapy.xlib.pydispatch import dispatcher
from scrapy import signals

app = Flask(__name__)


def scrape_it(url):
    items = []
    def add_item(item):
        items.append(item)

    runner = CrawlerRunner()

    d = runner.crawl(NGramsSpider, [url])
    d.addBoth(lambda _: reactor.stop()) # <<< TROUBLES HERE ???

    dispatcher.connect(add_item, signal=signals.item_passed)

    reactor.run(installSignalHandlers=0) # the script will block here until the crawling is finished


    return items

@app.route('/scrape/<path:url>')
def scrape(url):

    ret = scrape_it(url)

    return json.dumps(ret, ensure_ascii=False, encoding='utf8')


if __name__ == '__main__':
    PORT = os.environ['PORT'] if 'PORT' in os.environ else 8080

    app.run(debug=True, host='0.0.0.0', port=int(PORT))

Answer 1

我认为没有一种很好的方法来为Scrapy创建基于烧瓶的API。烧瓶不是一个合适的工具，因为它不是基于事件循环。更糟糕的是，扭曲反应堆( Scrapy使用的) can't在一个线程中不止一次被启动/停止。

假设Twisted反应堆没有问题，你可以启动和停止它。这不会使事情变得更好，因为您的scrape_it函数可能会阻塞很长一段时间，因此您将需要许多线程/进程。

我认为创建API的方法是使用异步框架(如Twisted或旋风)创建API；它将比基于烧瓶(或基于Django)的解决方案更有效，因为API能够在Scrapy运行蜘蛛时处理请求。

Scrapy是基于Twisted的，所以使用twisted.web或https://github.com/twisted/klein可能更简单。但是龙卷风也不是很难，因为你可以让它使用Twisted事件循环。

有一个名为ScrapyRT的项目，它所做的事情与您想要实现的非常类似--它是一个用于Scrapy的HTTP。ScrapyRT是基于Twisted的。

作为刮除-龙卷风集成检查的一个例子，Arachnado - here是如何将Scrapy的CrawlerProcess与龙卷风的应用集成起来的一个例子。

如果您真的想要基于瓶的API，那么在单独的进程中开始爬行和/或使用像芹菜这样的队列解决方案是有意义的。这样，你就失去了大部分的抓取效率；如果你这样做，你也可以使用请求+ BeautifulSoup。

Answer 2

上周我一直在做类似的项目，它是SEO服务API，我的工作流程是这样的：

• 客户端发送一个请求到一个带有URRL的服务器以刮刮，并发送一个回调url在完成报废时通知客户端(这里的客户端是另一个web应用程序)。
• 使用芹菜在后台运行Scrapy。蜘蛛会将数据保存到数据库中。
• 爬行器完成后，backgound服务将通过调用回调url通知客户端。