为iptables ulogd选择合适的数据库/存储引擎

Question

我正在寻找一些帮助，为iptables ulogd设置选择一个数据库后端。

我们将用iptables交换当前的专有防火墙解决方案，其中一个要求是记录由防火墙转发的所有通信量。

看看我们当前的日志，我们记录了大约4000000到5000000个条目pr 24小时，所以数据库应该是快速插入。

服务器是Debian安装程序，所以我们更喜欢使用可以通过智能维护的数据库。

我们现正研究以下事项：

• Mysql 5.5 (debian存储库)
• MariaDB 5.5
• Percona 5.6
• SQLite 3

在选择数据库之后，还有一个问题，即哪个存储引擎适合我们的工作负载？

我一直在考虑让ulogd插入到内存引擎中，然后间隔地将数据移动到基于磁盘的存储引擎数据库，以前有人做过类似的事情吗？

Answer 1

我认为答案将取决于你需要如何处理这些数据。如果它是您要寻找的实时处理(搜索)，那么您可能需要一个(可伸缩的)搜索引擎，比如Elasticsearch或Solr。这里有两个链接，可以让您了解这两个链接：

这是关于Elasticsearch：http://blog.sematext.com/2013/09/24/presentation-on-centralizing-logs/的

这是Solr：http://blog.sematext.com/2013/11/11/presentation-solr-for-indexing-and-searching-logs/

如果您需要批处理，那么使用Hadoop可能会更好。尽管你可以有一个可以同时完成这两种功能的设计。而且搜索引擎也包含了越来越多的分析功能，就像Elasticsearch在聚合方面所做的那样。