统计5分钟内从IP地址到应用程序负载均衡器的请求数的更好方法

Question

我正在尝试使用AWS WAF在应用程序负载均衡器上设置速率限制。

我觉得很困难的一件事是计算从每个IP地址发送的请求的数量。

目前，我统计这个数字的方法是使用excel来分析负载均衡器的access log。

这真的很不方便，因为日志文件(123456789123_elasticloadbalancing_<my_region>_app.awseb-AWSEB-KOAJA32RNYD8.3doo93xxx07e93c7_20200210T0010Z_13.232.79.235_3o9wv54o.log.gz)的时间段只有5分钟。

要分析24小时的时间段，我必须下载并提取存储在S3存储桶中的24 * 60 / 5 = 288日志文件。

是否可以直接从AWS网站管家获取5分钟内每个IP地址的请求量？

Answer 1

你看过S3精选(https://docs.aws.amazon.com/AmazonS3/latest/dev/s3-glacier-select-sql-reference-select.html)吗？它可能会在这里提供一个解决方案。