部署ruby on rails爬虫的最佳方式和环境是什么？

Question

我有一个ruby on rails应用程序，这是一个crawler.The爬虫的web界面，是一个单独的ruby脚本，我计划将它作为一个单独的process.However派生出来，这是启动一个运行时间超过30分钟但立即返回请求的进程的最佳方式吗？那么，在哪里部署具有如此长生命周期进程的应用程序更好呢(亚马逊EC2、Heroky等公司？)使用Rails 3/ Ruby 1.9.2

Answer 1

对于长时间运行的作业，您可以查看队列系统，如resque或delayed_jobs。

部署这样的应用程序的一个好方法肯定是capistrano。

Answer 2

对于长时间运行的进程，您肯定需要一个后台队列。例如，您可以使用Sidekiq：http://sidekiq.org/

虽然Heroku对请求有30秒的超时，但这只适用于web请求，而不适用于后台作业。因此，您可以安全地在Sidekiq后台工作人员上执行30分钟的工作。