KVM服务器集群的共享存储？

Question

我有戴尔电磁兼容SCv3020存储阵列，我想为所有3台物理服务器创建共享存储(LVM?)为了在集群中创建KVM，所以如果一个服务器死了，我们可以将VM移动到另一个服务器。我们有HA故障转移的解决方案，但是我们不确定如何完成这个共享存储设置。

我们应该在虚拟机上设置简单的NFS并共享吗？如果是，哪个文件系统将在NFS上，我们应该在它上创建LVM吗？文件系统是否需要集群感知，这样就不会出现数据损坏，因为所有服务器都在访问相同的存储空间？

我们在这个基础设施上也有VMware，使用戴尔存储阵列和生产KVM，所以是否可以使用Vmware数据存储来创建虚拟机，在所有3台新的物理服务器上设置这个共享存储，以便将KVM所有服务器都部署在同一个共享存储上？

Answer 1

我有戴尔电磁兼容SCv3020存储阵列，我想为所有3台物理服务器创建共享存储(LVM?)为了在集群中创建KVM，所以如果一个服务器死了，我们可以将VM移动到另一个服务器。我们有HA故障转移的解决方案，但是我们不确定如何完成这个共享存储设置。

您所拥有的是一个经典的所谓双控制器SAN，取决于您的连接性(光纤通道Vs iSCSI)，您只需从SAN磁盘池中创建一个新的虚拟LUN，并将该虚拟LUN公开给您的存储使用者。如果您要使用VMware，它将使用VMFS格式化它，这是一个集群感知的文件系统，并将使用这个新的VM数据存储。

这是一个很好的指南，你应该遵循：

https://www.delltechnologies.com/asset/en-us/products/storage/industry-market/h16391-dellemc-unity-storage-vmware-vsphere.pdf

如果您只使用一些服务器w/out管理程序，您将不得不使用一些集群感知的文件系统，或者您将在您的虚拟LUN上使用一些非仲裁写入的元数据。请参见：

https://forums.starwindsoftware.com/viewtopic.php?f=5&t=1392

我们应该在虚拟机上设置简单的NFS并共享吗？

您可以将NFS用于VMware数据存储(对于KVM，而不是Hyper)，但是这里需要某种级别的HA，因为您不希望VM数据存储成为一个单一的故障点(SPOF)。

如果是，哪个文件系统将在NFS上，我们应该在它上创建LVM吗？文件系统是否需要集群感知，这样就不会出现数据损坏，因为所有服务器都在访问相同的存储空间？

请参见上面的。如果您要使用VMware，它将是虚拟LUN之上的VMFS，并且会有VM数据存储，并且您可以从生产VM内部公开任何文件系统。

我们在这个基础设施上也有VMware，使用戴尔存储阵列和生产KVM，所以是否可以使用Vmware数据存储来创建虚拟机，在所有3台新的物理服务器上设置这个共享存储，以便将KVM所有服务器都部署在同一个共享存储上？

实际上，这是一种方法。

Answer 2

戴尔存储阵列可以通过iSCSI或FC连接到主机。这就是你可以从这里开始的。如前所述，您将需要具有集群感知的文件系统才能在三台主机上同时使用此存储。cLVM是最好的选择之一。但是，必须指出的是，拥有一个SAN会为您的基础结构造成一个单一的故障点。实现软件定义的存储，这是多余的，可以解决这个问题。以下几个例子：

https://www.starwindsoftware.com/starwind-virtual-san

使用手动切换在两个主动被动服务器之间复制KVM+DRBD

Answer 3

描述并不全面；这个答案应该起到引入HA集群存储的作用，这就是问题的本质所在。

传统上，这个问题是通过专用SAN来解决的，而SAN是虚拟化集群的外部。SAN在内部是可靠的。它有两个协调控制器，所有存储介质都是双口(SAS)，它们的端口连接到第一个存储控制器，另一个连接到第二个控制器。磁盘被组装成RAID阵列。为了访问这些控制器，每个主机有两个SAN，一个连接到一个控制器或SAN交换机，另一个连接到另一个控制器，如果使用交换机，每个控制器都有一个到每个控制器的链接，因此每个主机总共有到每个RAID数组的2到4个不同的路径。因此，我们得到了一个没有单一故障点的存储系统。对SAN的访问可以提供几种协议，包括SAS、光纤通道、FCoE、iSCSI；还有一些存储可以通过pNFS作为NAS提供访问。

所有主要的虚拟化集群解决方案都支持这样的SAN。通常，SAN卷被每台主机视为块设备，并且在节点之间有一定的仲裁保证。然后，这些块设备被用来托管集群感知的文件系统来存储VM虚拟磁盘。例如，在Linux cLVM (集群感知版本的LVM)中可以使用；在超级V集群中，NTFS是集群感知的。

该行业现在趋向于汇聚网络，即SAN和LAN使用相同的NIC，并通过引入虚拟子接口(例如VLAN )来区别对待。这也产生了一种吸引力，即进一步融合服务，并将所有高度可用的SAN职责扩展到与运行虚拟机的主机相同的主机，从而有效地创建一个虚拟网络SAN。这被认为是一个超收敛的解决方案(一个“软件定义的存储”)。我知道有适用于vSAN的VMWare解决方案，但我没有尝试过。Linux vSAN解决方案包括CEPH和DRBD；这两种解决方案都需要至少三台主机(对于仲裁而言)才是真正的冗余，并且需要大量的网络容量(它们需要冗余的10G网络)。只可能有三个功能强大的服务器，每个服务器有两个10G接口，这就是您需要的冗余HA虚拟化集群；Proxmox (它是基于Linux的虚拟化集群，内置CEPH支持)在其YouTube频道上提供视频，解释如何实现这一设置。但是，由于各种原因，没有人建议在生产中运行这种设置，而且即使选择使用超收敛存储，通常也建议将一些主机用于托管vSAN，而另一些主机则用于运行虚拟机。