集群应用程序异步日志记录

Question

需要关于用Python(异步)编写的集群应用程序中日志记录的组织的建议。应用程序使用日志模块并存储日志本地文件。

看到有3个服务器不舒服的日志。我想使用rsyslog，但是有人担心它会阻止应用程序。另一种使用aioredis(推送到通道)的方法和另一种应用程序来收集单个文件中的数据。

Answer 1

一个简单的解决方案是要求logging登录syslog (通常是/dev/log，它不会阻塞您的应用程序)，本地(因此您的应用程序不绑定到您的日志系统:它仍然是可移植的)，然后让rsyslog (我个人更喜欢syslogng )将它们传输到主日志服务器。

另一种解决方案是使用像logstash这样的工具将日志推送到elasticsearch服务器/集群，这样您就可以轻松地浏览和绘制日志。在这种情况下，如果您的日志行是json对象，那么这是一个很大的胜利，因为elasticsearch端(通常通过kibana)可以对json文档的字段进行查询、筛选和聚合。典型的图形信息与警告和错误，每个文件错误的频率，或每个用户，等等。