具有of数据的kubernetes的ReadWriteMany卷

Question

我们希望部署一个k8s集群，它将同时运行100个IO重的吊舱。他们都应该能够访问相同的卷。

到目前为止我们尝试过的是：

• CephFS
  • 的建立非常复杂。很难排除。最后，它坠毁了很多次，原因并不完全是clear.

。

​

• • 运行良好，但是当IO达到高峰时，一个副本是不够的。我们无法让多个副本在all.

上工作

​

• MinIO
  • 是在k8s中创建存储桶的一个很好的工具。但我们的行动需要飞秒安装。从理论上讲，这在s3fs中是可能的，但是由于我们运行了大约100个荚，我们还需要运行100个s3fs侧雷达。这似乎是个糟糕的idea.

​

必须有某种方法将2TB数据装入具有相对高可用性的GKE集群中？

Firestorage似乎可以工作，但它比其他解决方案昂贵得多，而且通过大量的IO操作，它很快就变得不可行了。

我考虑过在服务器故障时创建这个问题，但是k8s社区要小得多。

Answer 1

我想，到2020年1月，我已经得到了一个明确的答案，至少就我们的使用而言：

| Solution        | Complexity | Performance | Cost           |
|-----------------|------------|-------------|----------------|
| NFS             | Low        | Low         | Low            |
| Cloud Filestore | Low        | Mediocre?   | Per Read/Write |
| CephFS          | High*      | High        | Low            |

* You need to add an additional step for GKE: Change the base image to ubuntu

我本人还没有对Filestore进行基准测试，但我将只考虑stringy05的回答:其他人很难从它获得很好的吞吐量。

如果得到Helm的支持，Ceph可能会容易得多。