我们正在开发一个系统,每天收集1 000万份记录。我们需要一个数据库解决方案,NoSQL。数据是简单的日志。我们现在正在使用AWS。我想知道两种技术都能提供更便宜的解决方案。AmazonDB或MongoDB.
我们有30张桌子正在收集这些日志。
发布于 2022-01-05 07:32:28
我建议使用fluentd或fluentbit来收集日志并将其流到Kinesis中,而Kinesis将把日志传递到S3中。然后,您可以使用Glue作为数据目录,使用Athena进行数据聚合或查询。
如果您希望在将日志放入S3之前进行转换,则可以利用进行数据转换或与Lambda进行格式对话。
以下是一些有关https://aws.amazon.com/blogs/compute/building-a-scalable-log-solution-aggregator-with-aws-fargate-fluentd-and-amazon-kinesis-data-firehose/ https://aws.amazon.com/blogs/opensource/centralized-container-logging-fluent-bit/的文章
https://stackoverflow.com/questions/70588828
复制相似问题