日志收集/ syslog服务器的磁盘/系统配置

Question

我正在考虑构建一个syslog /日志记录基础设施，并正在思考一些架构最佳实践。基本上，我看到syslog系统需要支持两个相互冲突的工作负载：

• 日志收集。潜在的大量数据流需要快速写入磁盘并编入索引。
• 日志查询。日志将通过日期和源以及文本搜索这两个固定字段进行查询。

假设我现在想把它保存在一个服务器上，那么最好的磁盘/系统设置是什么？我应该使用SSD或ramdisk卸载一些处理吗？一些磁盘是条形的，另一些是raid5的？

我特别关注使用ElasticSearch/MongoDB的Graylog2

Answer 1

首先，我认为这有助于定义日志的值，例如，如果这是大容量的金融事务日志，您可以选择非常高端的raid控制器，其中有很多电池支持的缓存和带有标记写或NCQ的高端磁盘。

在一般情况下，ZFS文件系统非常有用，您可以自由地使用add来获取它们提供的廉价容量，然后在需要时添加SSD作为读取缓存(ZFS中的L2缓存)。如果写入成为瓶颈，您可以使用SSD作为ZIL (实际上是ZFS中的写缓存)。好的是，这一切只是工作，真的很好的经验。

为了进一步解决冲突的工作负载问题，类似Cassandra这样的产品(也有许多其他选项)有一个架构，它以高效的方式灵活地解决了这些需求。