我们的首席信息官在看到我们的AWS法案时心脏病发作了。
我需要从多个EC2 (在伸缩组中)聚合Apache和Tomcat日志--什么是在不破坏银行的情况下启动这项操作的最佳方法?日志的目标是按IP地址、帐户名查看事件,查看事务流(诊断/审计日志记录--与其说是性能指标,不如说是性能指标)。
ELK不在(政治)方程式之外。允许使用Cloudwatch +任何其他功能。
发布于 2020-10-01 04:58:32
这取决于卷和访问模式,但是将日志推送到S3并使用雅典娜查询它们是一个很好的解决方案。
它很便宜,因为S3是一个非常便宜的数据存储,而雅典娜是无服务器的,这意味着你只需为你运行的查询付费。
确保将日志转换为压缩的数据格式(如Apace Parquet),以节省更多的dosh。
https://docs.aws.amazon.com/athena/latest/ug/querying-apache-logs.html
https://aws.amazon.com/blogs/big-data/analyzing-data-in-s3-using-amazon-athena/
发布于 2020-10-01 07:46:18
我反对S3 /雅典娜的理由是,S3可能是最便宜的存储机制,但是如何将日志从您的机器中转移到S3中呢?我不知道有任何AWS代理商这样做,但可能有一些商业或开源项目可以做到这一点。此外,还需要进行一些设置才能让雅典娜执行搜索工作,例如defining schemas和/或设置AWS Glue Crawlers以发现数据。您经常会发现,如果日志数据不是JSON格式的,那么Glue Crawler就不能很好地识别这些数据。
我强烈推荐CloudWatch。亚马逊网络服务已经创建了一个可用于多个操作系统的CloudWatch agent,它将从您的EC2实例中提取和转发您的日志。CloudWatch还有一些免费的搜索工具,现在还有更强大的CloudWatch Insights工具来帮助您以类似于其他一流日志聚合器所允许的方式搜索您的数据。
CloudWatch pricing is also pretty cheap.只需0.5美元/GB的摄取和0.02美元/GB的长期存储(至少在美国东部-1)。使用CloudWatch代理是免费的,这是最大的优势,因为你不必发明和测试一种新的方法来从你的机器中拉出日志。
https://stackoverflow.com/questions/64145535
复制相似问题