建议:为虚拟化存储配置10 for堆栈

Question

我会尽我所能地说出来，这样就不会被认为是购物清单了。

我们已经成功地运行了一段时间的开发/测试ESXi环境，通过惠普MSA2012fc初学者工具包(使用基于Brocade的HP B级SAN交换机)使用了几台戴尔MSA2012fc服务器。这对我们非常有用，但是在dev/test中，它附带了关于正常运行时间/性能的各种警告。

无论如何，开发/测试平台的成功引发了对更“生产准备”虚拟化平台的呼吁。我们目前正在起草这些建议。

然而，针对现有堆栈的抱怨之一是缺乏对其他虚拟化技术(HyperV、Xen等)的支持，因为SAN被完全分配并格式化为VMFS。这是我们被告知要克服的事情，但是，就像典型的情况一样，没有迹象表明HyperV/Xen会被吸收(而且我们不特别想通过将LUN分配到不被使用的地方来浪费‘昂贵’的存储资源)。

因此，我们目前的思路是放弃传统的光纤SAN，转而使用直进的CentOS盒(可能是高端的HP ProLiant DL380p Gen8)，运行NFS和Samba/CIFS守护进程，使用10 the交换机(可能是思科Nexus 5000/5500-系列)。

其理由是，ESXi头可以讨论NFS，HyperV头可以讨论CIFS，但两者最终都指向相同的XFS/RAID1 1+0卷。

现在，我还不够绿，认为10 get将允许我在磁头和磁盘之间实现10G的I/O吞吐量，但我不知道NFS和CIFS实现(以及多个主机试图与其对话时可能会产生干扰的任何其他位元)所能看到的开销类型。

我希望至少接近持续的磁盘读/写速度的直接连接的磁盘，尽管，对我尽可能多的主机。看看各种驱动器制造商的网站，我粗略地预计这是在140-160 me /S标记的某处(如果我离得很远，请告诉我)。

对于Linux/NFS/Samba或10 can交换机配置，任何人都可以提供哪些建议/指导/进一步阅读来帮助实现这一目标？

Answer 1

我理解从纯块存储转移到更灵活的东西的愿望。

但是，当现在有几个存储设备软件产品可用时，我会避免使用直截了当的Linux存储堆栈。Linux方法可以工作，但是缺乏管理特性/支持，需要XFS调优(这里和这里)，以及它不是一个目的构建的存储操作系统，这些都是缺点。

此外，XFS/RHEL代码保持器和一个影响系统平均负载的严重内核错误也存在一些麻烦，您所描述的Linux组合就变得不那么吸引人了。

纯粹的Linux可以很好地实现这一目的，但这种设置肯定超出了规范，并且可能使用一些深奥的解决方案，比如Linux上的ZFS或未做好黄金时段准备的Btrfs。稍后会有更多的细节。

我经常这样做，我选择在基于ZFS的存储上使用NFS，而不是像HP P2000数组这样的入门级SAN。我用L2ARC (读)和ZIL (写) SSD和DRAM缓存设备来增强ZFS的安装。此外，我已经使用了10‘ve与这种类型的设置四年。

现在我将关注NexentaStor，因为这是我大部分时间使用的设备软件.

我已经为ZFS存储构建了许多基于HP ProLiant的系统，从全合一VMware主机到独立的设380存储器“设备”，到到级联存储JBOD单元(前面和后部)的全通SAS连接。

NexentaStor和NFS/CIFS.

Nexenta支持将文件和块存储呈现给外部系统。我可以使用24个磁盘池，并向需要本地块存储的主机提供iSCSI存储，向我的VMware ESXi基础设施提供NFS，向少数几个Windows客户端提供CIFS。该空间被有效地利用，并被从池的存储中雕刻出来。没有人工帽子。压缩是透明的，并且在VM场景中有很大的帮助(更少移动)。

10‘re会有所帮助，但这取决于您向虚拟化主机呈现的内容。他们也是1 1GbE还是10 1GbE？

基准：

我将对运行在通过10 SAN连接到ESXi SAN的NexentaStor主机上的来宾虚拟机进行快速测试。

这是一个6磁盘阵列。(在HP D2600机箱中-600 an 15k SAS)

[root@Test_VM /data]# iozone -t1 -i0 -i1 -i2 -r1m -s6g 
        Iozone: Performance Test of File I/O

        Run began: Mon Feb 11 18:25:14 2013
        Record Size 1024 KB
        File size set to 6291456 KB
        Command line used: iozone -t1 -i0 -i1 -i2 -r1m -s6g
        Output is in Kbytes/sec

        Children see throughput for  1 initial writers  =  128225.65 KB/sec
        Children see throughput for  1 readers          =  343696.31 KB/sec 
        Children see throughput for 1 random readers    =  239020.91 KB/sec
        Children see throughput for 1 random writers    =  160520.39 KB/sec

这将转到一个繁忙的16磁盘阵列(在HP D2700附件-300 HP 10k SAS中)。

[root@Test_VM2 /data]# iozone -t1 -i0 -i1 -i2  -r1m -s4g
        Iozone: Performance Test of File I/O

        Run began: Mon Feb 11 16:33:53 2013
        Record Size 1024 KB
        File size set to 4194304 KB
        Command line used: iozone -t1 -i0 -i1 -i2 -r1m -s4g
        Output is in Kbytes/sec

        Children see throughput for  1 initial writers  =  172846.52 KB/sec
        Children see throughput for  1 readers          =  366484.00 KB/sec
        Children see throughput for 1 random readers    =  261205.91 KB/sec
        Children see throughput for 1 random writers    =  152305.39 KB/sec

同一次运行的I/O图..。千字节/秒和IOPS措施。

Answer 2

使用Linux主机为Hyper-V主机提供CIFS存储是不合理的，微软也绝对不支持。当您谈论与虚拟化一样重要的业务关键基础设施时，您肯定希望得到供应商的支持。

您需要向您的Hyper-V服务器提供更传统的iSCSI或光纤通道存储，或者如果您计划运行Windows2012，您可以使用Windows2012存储服务向主机提供iSCSI。

另一种可能是在你的VMWare次声中作为虚拟客人运行Windows2012或类似于Nexenta的东西，为您的超级V用户提供iSCSI。这不是最具表现力的配置，但也不错。由于你的超V足迹是小到不存在的，这可能是一个很好的妥协，最大的灵活性，而没有专门的LUN。

否则，您将需要使用完全虚拟化您的LUN的东西，比如HP LeftHand SAN。对于LeftHand，磁盘不是专用于LUN的。相反，所有LUN都被横穿所有磁盘。听起来有点奇怪，但它是个好产品。

Answer 3

这可能在一定程度上是我在这里讨论的背景和经验，但我不推荐在一个可以被认为是“生产”或“企业”环境中的虚拟机存储中使用家用服务器解决方案。

我会看到主流存储供应商，他们可以提供SAN解决方案，但是有一对高可用性的NAS头，以受支持的、可验证的方式将底层文件系统导出为NFS/CIFS。