S3目录的本地镜像的代理

Question

我们有一个对从我们自己的亚马逊S3目录访问大型文件的需求不断增加的办公室。能够快速访问它们对我们的业务很重要，所以我们认为是时候开始在现场保存文件副本了。这不是我的专长，所以我希望得到一些建议。

“正常”缓存本身并不足以满足我们的需要，因为我们甚至希望加快对任何给定文件的第一个请求。AWS能够使本地目录与S3保持同步，因此一种想法是在低流量时间内按计划运行该目录，然后配置一个代理来将该目录作为缓存(如果可能的话)。

另一个想法是从脚本中向缓存代理发出get请求，以保持缓存的温暖，时间安排类似。

一个警告是，S3资产是私有的，所以我们在发出每个请求之前都要对它们的URL签名。这意味着代理将需要能够基于URL提供本地副本，不包括任何查询参数。例如，这两个urls都应该解析到同一个缓存/镜像文件：

• https://example.com/asset1.txt?signature=1
• https://example.com/asset1.txt?signature=2

缓存的大小将以单位数字of为单位，并为大约300个活动用户处理通信量。

最后，我的问题是：

• 这两种方法听起来都是理智的吗？
• 有人能推荐可以按照我们需要的方式配置的代理软件吗？
• 是否有我可以参考的资源来确定这个负载的硬件需求？
• 还有其他的想法/建议吗？

Answer 1

如果您只需要将本地存储库与基于云的对象存储同步，我将查看Rclone或CloudBerry。Rclone有一个命令行接口来同步云中的目录和文件.它适用于最流行的云存储，如Azure，AWS ( S3和Glacier)，等等，https://rclone.org/。

另外，如果您想要将所有数据备份到云端，则可以利用Virtual备份，同时将额外的负载转移到云中。因此，如果您需要备份您现有的基础设施，您可以使用自动卸载到云的防ransomware备份。它有退化和压缩，但据我所知，现在星风免费提供它。https://www.starwindsoftware.com/starwind-virtual-tape-library

这两种解决方案都是成熟和可靠的，您只需选择所需的选项。希望能帮上忙。

Answer 2

根据您的需求，AWS存储网关可以为您提供所需的服务。存储网关是一种AWS服务，作为虚拟机部署到您的本地环境中。

有两种风格的存储网关立即在人们的脑海中产生了潜在的合适之处：

• 文件网关将S3存储桶作为NFS挂载提供，并包括透明的本地缓存。
• 卷网关-缓存卷显示为iSCSI目标，还包括频繁访问数据的本地缓存。

存储网关有一些缺点：

• 它不是为支持多主方案而设计的，因此锁定机制的作用域是存储网关(而不是底层的S3桶)。在这两种情况中，多主方案更适合使用文件网关，因为它确实支持RefreshCache API调用，该调用将使用自网关最后列出桶的内容以来添加/删除/替换的对象更新本地VM中的元数据。
• 卷网关不提供对底层S3桶的访问。因此，虽然文件网关由客户控制的S3桶支持，卷网关则由AWS控制的S3桶支持。这意味着对于卷网关，您没有在您的帐户中看到S3桶，并且您不能将其中的数据作为一个普通的S3对象访问。(我找不到支持这一点的文档，但我95%肯定这是正确的)

还有其他类型的存储网关，您可以阅读有关AWS存储网关的工作原理的内容。

如果您还没有使用直接连接，那么您可能需要考虑使用它来实现对AWS服务的高带宽、低延迟访问。(我猜，考虑到你提到的数据量，你已经在使用它了)

编辑2018-05-21:存储网关定价与存储网关，您将负责底层存储(数据+请求的大小)和数据传输。就这样。使用S3进行存储的任何其他解决方案都要花费同样的代价。