在JSON日志文件上运行临时查询

Question

我遇到了一种情况，假设我有一个名为logs的文件夹，其中有N个文件夹。每个文件夹包含特定事件类型的事件，每个文件夹都有N个.log文件，其中每个文件都有多行JSON。

示例：

event1.1.log

{"id":1, "name": "ABCD"}
{"id":2, "name": "EFGH"}
{"id":5, "name": "IJKL"}
{"id":7, "name": "MNOP"}

event1.2.log

{"id":3, "name": "ABCD"}
{"id":4, "name": "EFGH"}
{"id":6, "name": "IFKL"}
{"id":8, "name": "ABED"}

现在，每个事件都可以有自己的结构，但是可以保证每个登录在同一个事件中的日志总是有相同的结构。

现在，我需要一种方法来对这些问题进行临时查询:获得一份学生名单，获得前十名学生等等。

我想把它们加载到一个临时表上，然后在它上运行查询，但我想知道是否还有其他方法可以做到这一点。

我可以编写一个应用程序来解析内存中的文件，但是数据量可能很大，需要在内存中进行计算。每次我想在接下来的几天内在同一个数据集中运行不同的查询时，它都必须再次将所有文件解析到内存中。

有什么办法吗？

Answer 1

您希望将这些文件上传到“查询时间模式”数据库(如Splunk )，或者使用ELK堆栈(如果存在某种结构)。

https://aws.amazon.com/elasticsearch-service/the-elk-stack/#:~:text=The%20ELK%20stack%20is%20an，弹性搜索%2C%20 20Logstash%2C%20和%20 20Kibana。