将数据从日志转移到Redshift的管道软件还是框架？

Question

寻找一些现有的流水线软件/方法，用于将数据从Logstash(使用ELK堆栈)转移到AWS Redshift。

Elasticsearch-Logstash-Kibana

我已经使用过罗吉，但我正在寻找经过工业测试和广泛使用的方法/软件。

Answer 1

因此，我一直在探讨这个问题，并最终设计了一个问题的解决方案，下面是您如何解决这个问题的方法。

ElasticSearch有一个输出插件，它将日志文件批量写入S3。

因此，一旦file_size被填充，文件就会被推入预先指定的S3桶中，下一个文件将被用于写入。

S3数据可以通过复制命令写入Redshift，也可以通过Luigi脚本编写高级cron作业。

Answer 2

您可以使用S3直接从logstash写入S3输出插件，然后使用AWS轻型装载机将数据加载到Redshift中。