基于AWS S3的Pravega S3存储

Question

我想将Pravega Tier2存储配置为使用AWS S3。我从长期存储文档的理解是，任何S3兼容的后端都是受支持的。然而，在我的Kubernetes集群中，我似乎无法实现这一点。

我使用以下清单机密：

apiVersion: v1
kind: Secret
metadata:
  name: aws-credentials
type: Opaque
stringData:
  ACCESS_KEY_ID: [AWS_ACCESS_KEY_ID]
  SECRET_KEY: [AWS_SECRET_ACCESS_KEY]

以及相关的Pravega集群配置：

storage:
  longtermStorage:
    type: ecs
    ecs:
      configUri: https://s3.eu-west-2.amazonaws.com
      bucket: "my-aws-s3-bucket"
      prefix: "my-prefix"
      credentials: aws-credentials

使用玩具NFS示例，我可以写入流并从流中读取。但是，使用上述配置，Pravega的部署将失败。有人成功地将AWS S3作为Tier2存储吗？

Answer 1

谢谢你的提问。让我回答：

我从长期存储文档中了解到，支持任何与S3兼容的后端。

Pravega0.8的长期存储实现支持NFS、HDFS和扩展S3。正如您在DellEMC扩展S3 API文档中所看到的，它实现了一些在普通的S3 API中不可用的功能，而Pravega实际上需要它。因此，不幸的是，这意味着在此版本之前，Pravega不支持普通的S3 API。

使用玩具NFS示例，我可以写入流并从流中读取。

您已经尝试过在AWS上使用Kubernetes部署Pravega，这是很好的。如果需要，可以使用AWS而不是S3来部署真正的长期存储后端。

有人成功地将AWS S3作为Tier2存储吗？

好消息来自最近发布的Pravega 0.9。这个版本的主要创新之一是一个名为简化长期存储的新特性。这个特性基本上取代了现有的长期存储实现，并允许Pravega使用更简单的API，如S3或Google。这正好解决了你所经历的问题。虽然我们仍然需要创建绑定，但我希望在相对较短的时间内能够在普通的S3中使用Pravega。

如果您对这个主题感兴趣，欢迎您加入Pravega：https://pravega-io.slack.com/

谢谢。