比如OverlayFS for s3？

Question

是否有类似于OverlayFS的东西，但是对于aws s3呢？

我们的生产系统将数据存储在aws s3中。

我们有几个测试系统。到目前为止，我们将所有数据从生产s3复制到测试系统的s3。

太慢了。

如果有类似于OverlayFS的东西，如果不是s3，那就太好了：

• 写应该去测试系统
• 读取应首先检查是否存在对测试系统的写入。如果是的话，拿着这个。
• 否则(尚未完成写入)，则读取应转到生产系统。

最后，我想要一个s3 API (而不是文件系统)。

Answer 1

我遇到了这个问题，最后创建了一个S3Proxy分支，支持一个"OverlayBlobstore“。

我不会说它已经准备好了，而且我也不确定我是否有足够的动力来达到这个目的，但是它对于测试来说已经足够好了。

$ docker run --rm -it switchmedia/s3proxy:latest \
  --publish 80:80
  --env S3PROXY_AUTHORIZATION=none \
  --env JCLOUDS_IDENTITY=$S3_ACCESS_KEY \
  --env JCLOUDS_CREDENTIAL=$S3_SECRET_KEY \
  --env JCLOUDS_PROVIDER=s3 \
  --env S3PROXY_OVERLAY_BLOBSTORE=true

$ curl -XGET localhost/bucket_name

注意:我强烈建议您使用仅限于只读的凭据。这样，如果软件中有一个bug，或者由于某种原因而禁用了覆盖，那么写就不会泄漏。

码头形象 GitHub回购

Answer 2

我认为你可以通过S3fs-保险丝和覆盖fs的结合来实现你想要的

1. 使用s3fs安装驱动桶，只读
2. 使用s3fs安装测试桶，读和写
3. 使用两个安装的桶创建一个覆盖，例如：

mount -t overlay overlay -o lowerdir=/mnt/s3-prod,upperdir=/mnt/s3-dev,workdir=/mnt/work /mnt/merged