如何获取实时日志分析

Question

我的应用程序每天都会构造大量日志。我曾经使用crontab和一些Java应用程序将这些数据存储到MySQL中。另外我还开发了一个管理系统，它的功能主要是基于MySQL对这些数据的分析。我的应用程序没有在一个web-app服务器上运行。因此，直接基于日志文件分析数据并不是一种很好的方法。但是由于日志文件越来越大，crontab需要很长时间才能完全存储日志文件，所以无法进行实时分析。那么，为了获得实时分析，可以进行哪些优化？

Answer 1

您可以使用OtrosLogViewer in "Batch processing" mode。我已经添加了cron扫描工作，我的日志每天午夜。我也在使用Log4j DailyRollingFileAppender

免责声明：我是OtrosLogViewer的作者

Answer 2

我认为你可以为每次运行创建一堆日志文件，而不是创建单个文件并将所有错误和异常写入其中。

对于我的基于java的应用程序，我也面临着同样的问题，日志文件的大小非常大。所以我创建了一个文件夹，并以下面提到的形式存储了文件

< FolderName + DateOfRun >

              -----< File Contains Exception/Error for core Logic >.txt
              -----< File Contains Exception/Error for primary Logic >.txt
              -----< File Contains Exception/Error for secondary Logic >.txt
              -----< File Contains Exception/Error for miscellaneous  Logic >.txt

这为我在应用程序之后处理海量数据提供了更好的方法。几乎需要4小时-5小时才能完成运行。

Answer 3

我们使用XpoLog作为我们的日志分析系统，它是一个可以在没有代理的情况下实时分析日志文件的平台。