如何将键值格式的日志文件转换为红移(来自S3或直接应用服务器)

Question

我的日志是键值格式的。对于不同的日志，这些键值对可以更改。想要对它进行分析。因为这是非结构化的想法，我应该放入dynamodb，但是对于分析，红移更好。我也可能不需要将所有键值持久化到红移，但这是可选的。我没有想过的几个选择：

1. 将日志放入S3。然后使用copy命令；但是我找不到一种方法在COPY命令中将键值转换为JSON格式，因为copy只需要json或csv！
2. 使用获取流上的日志文件。但是，使用这些日志文件的最佳方法是什么呢？通过、Lambda或Kinesis ！我曾经想过的一个选择是移动代理格式化程序将文件格式化为JSON，但这不是很灵活。在那之后呢！
3. 将日志文件放入云监视日志中！但是如何消费呢？

Answer 1

Amazon发布了一个关于它的非常有趣的博客。看看这是否满足了您的要求。

基于AWS、EMR和DataPipeline的Web服务器日志ETL处理

对于实时，你也可以看到反向工程的移动消防软管流。它直接将您的数据传递到S3或Redshift。您可以修改或publisher来转换json或csv中的日志，以执行加载操作。

请评论下面的更多帮助。

Answer 2

如果您有S3中的数据，那么尝试在AWS数据管道中使用用于“从S3加载数据到红移”的模板。此模板负责将数据从S3加载到红移。

注意:它可以使用EMR，因此可以启动EC2来处理数据，直到将数据加载到红移为止。