如何检测Nodejs服务器上的crawler流量

Question

我已经开发了Nodejs express服务器，我关心的是爬虫流量....i意味着如果有人开始向我的服务器发送请求使其宕机，那么如何检测或避免这种情况。

提前谢谢。

Answer 1

在这里很难分辨你真正想要的是什么。

如果你真正想问的是，当爬虫对你的站点发出请求时，你如何识别爬虫，那么所有行为良好的爬虫(比如来自Google的爬虫)都会在请求中识别自己。你可以看到谷歌爬虫是如何做到这一点的here。

如果你真正想问的是如何保护你的服务器不受一次过多流量的影响，并且其中一些流量来自爬虫，那么这是一个非常广泛的问题，需要大量关于你的特定服务器实例的信息，它当前支持的规模，等等。这里有一篇关于一般主题的文章：Web Crawlers: Love the Good, but Kill the Bad and the Ugly。

对于Google来说，你可以告诉它你的站点的最大爬行率应该是多少。查看这个标题为"Change Googlebot crawl rate"的谷歌页面的说明，虽然这个设置只在90天内有效，所以当你第一次向你的网站添加大量爬虫想要看到的新内容时，它是最有用的。

注意:您还可以调用实现一个robots.txt文件来指示爬虫程序避免使用站点的哪些部分。