从嵌入式设备聚合日志

Question

我正在尝试从集中位置的多个嵌入式设备聚合日志，以便能够分析它们。

这是系统的样子：

• 我有很多嵌入式设备。
• 有些部署是现场部署的，系统可能无法访问互联网。所以我需要请求客户转储日志并发送给我们。
• 除了每个客户的现场部署外，还有一个服务器运行在云上，供多个客户使用.
• 设备使用grpc与服务器对话。
• 我还设置了RabbitMQ。

我该如何处理原木：

• 对它们进行通用分析
• 当收到错误报告时，请客户进行调查。

如何从设备中收集日志？在服务器中创建端点？让设备将日志发布到rabbitmq？将本地RabbitMQ实例部署到设备并从中收集日志？使用其他日志堆栈吗？

Answer 1

那得看情况。

如果有许多设备，它们会产生大量的数据，这会使您的网络过载，或者在处理这些设备时产生过高的负载，您可能更喜欢在设备上处理日志，并且只向服务器发送一些聚合数据。

如果可能的数据量不是问题，最好是将数据发送到您的服务器。然后，如果您想做一些新的分析，计算一些新的指标，您将始终拥有数据，您将不必更新每一个设备来生成新的度量标准。