如何防止恶意爬虫抓取部署在Heroku上的rails应用程序？

Question

我想限制爬虫对我在Heroku上运行的rails应用程序的访问。如果我使用的是Apache或nginX，这将是一项简单的任务。由于该应用程序部署在Heroku上，因此我不确定如何在HTTP服务器级别限制访问。

我曾尝试使用robots.txt文件，但有问题的爬虫程序不支持robot.txt。

以下是我正在考虑的解决方案：

1) rails层中用于限制访问的before_filter。

2)基于机架的解决方案来限制访问

我想知道是否有更好的方法来处理这个问题。

Answer 1

我读过有关蜜罐解决方案的文章:您有一个不能爬行的URI (将其放在robots.txt中)。如果任何IP调用此URI，则阻止它。我会将其作为一个Rack中间件来实现，这样就不会影响到整个Rails堆栈。

对不起，我用谷歌搜索了一下，但找不到原文。