用于日志记录的最佳ZFS配置是什么？

Question

我计划的硬件将用于日志管理的目的。我们计划在硬件之上运行的软件支持分层，并且计划按照以下三层进行：

1. 层将是SSD，将由直接连接到服务器机箱的磁盘构建，并将用于头7天的数据。
2. 层将旋转磁盘，将建立从磁盘直接连接到服务器底盘，并将用于第180-7天的数据。
3. 层将旋转磁盘，将建立从磁盘位于一个单独的SAS直接附加存储。

底层操作系统是UbuntuServer16.04.4，不幸的是，我不能影响这个决定。

我们计划使用的服务器机箱是Dell R740xd，其布局如下：

• 2x300 GB 15K SAS HDD
• 2 x 1.6 TB SAS SSD
• 18x2.4 TB 10K SAS HDD

对于操作系统和应用程序，我计划使用一个由两个300 GB磁盘构建的镜像vdev组成的zpool。

对于第一层存储，我计划使用一个由两个SSD磁盘构建的镜像vdev组成的zpool。

对于第二层，我计划使用由三个6驱动器RAID-Z2 vdevs组成的zpool。

如果我想改变我想要做的事情，那么两个空闲的插槽给我留下了一些选择，我想用OS+Application和第1层zpool。

另外，对于3x6zpool(第二层)，我相信我会达到最好的结果，同时考虑到可用的存储和容错。

然而，这些问题确实与外部直接附加存储有关.只有第一层(SSD)会受到新日志不断写入的影响，而第2层和第3层仅在应用程序检查超过其当前所在层的保留集的日志时，每天只看到一次输入和输出日志。如果DAS是从RAID-Z2 vdevs构建的，那么更大的磁盘(比如4TB甚至更大的磁盘)会是一个问题吗？还是和镜子里的歌唱家一起去比较好呢？我知道，与RAIDZ-2相比，再镀银对镜像的麻烦要小得多。

对于DAS来说，我的选择似乎要么是戴尔、MD1420，要么是MD1400。后者将为我提供更多更大(更慢/更便宜)磁盘的选项，而前者将限制我选择2.5“磁盘。理论上，如果有一个可以安装12x3.5”磁盘+ 4x2.5“磁盘的选项，理论上我也可以选择在服务器机箱中安装3.5”磁盘。再一次，第二层(SSD是第一层)不会看到连续的写入或读取，但在需要检索超过7天的日志时，仍然可以在工作时间内经常看到读取。然而，我并没有足够的知识来决定比10K驱动器更便宜的东西是否足以满足第二层的需求。

Answer 1

如果DAS是从RAID-Z2 vdevs构建的，那么更大的磁盘(比如4TB甚至更大的磁盘)会是一个问题吗？还是和镜子里的歌唱家一起去比较好呢？

除了重新镀银时间外，使用镜像的唯一原因是IOPS，因为这些镜像设置中的磁盘数量应该与镜像设置中的磁盘数量相应，并且等于RAIDZ中的单个磁盘。

我怀疑这在这里会有什么关系。您谈论的是“检索”，即复制数据，因此这主要是一个连续的读取工作负载。几百毫秒的等待时间--在最糟糕的情况下，数百个并行访问正在等待时--应该仍然足够好。它不是数据库服务器，而是更少的NAS。

但是，如果有硬件，只需运行一些测试。

此外，如果只是日志文件，请确保打开压缩，甚至考虑将记录大小提高到1mb，以便更好地压缩，如果大多数情况下是连续读写的话。