用于Hadoop云而不是ext4的zfs

Question

现在，我在ext4上有几个linodes。我有个hadoop装置。如果我将我的文件系统从ext4迁移到zfs，我会得到什么好处。

• 回复时间会有什么好处吗？
• 在本地局域网交换数据时有速度优化吗？
• 如果我在云中添加了一个新的linode，那么与ext4相比，同步时间会减少吗？另外，缺点是什么？

Answer 1

来自Adurant的白皮书：

这种配置的好处包括：

• 通过将复制因子降低到2x来减少Hadoop集群的开销
• 将复制因子降低到2x，从而减少存储(磁盘空间)需求
• 通过ZFS存储装置将数据副本数量增加到4倍
• 通过ZFS存储装置增加数据压缩，进一步减少存储空间需求，即使在镜像池配置中也是如此
• 通过ZFS存储设备添加读和写缓存，减少I/O响应时间
• 添加数据保护(RAID 1)，没有增加Hadoop集群的开销
• 通过ZFS存储设备的集群头增加容错功能

其结果是：

Hadoop概念测试证明的结果清楚地表明，ZFS存储设备能够处理当前Hadoop工作负载。数据处理是CPU绑定的，内存利用率是名义的，I/O利用率是名义的，数据被压缩了至少3.5倍。

当然，压缩效率在很大程度上取决于数据，性能不仅取决于设计，还取决于实际的硬件。该文档还提供了设置的概要。您可以用更少的节点和一部分真实数据以更小的方式复制它，并运行自己的基准测试。