FTP到GCS传输

Question

我想知道是否有一种从(S)FTP服务器(Exavault)到(GCS)备份文件的有效方法。我们正在使用Exavault一个托管FTP服务，并希望定期备份文件到GCS，然后从Exavault清除超过30天的文件。

目前的执行情况(血腥缓慢)：

1. 使用curlftpfs将FTP安装到Google实例上的文件系统
2. 运行gsutil rsync将文件从挂载存储同步到GCS桶
3. 基于mtime +30删除文件

这个方法运行得很慢，我不认为这是一个合理的解决方案。

有什么解决方案可以用大约500 of的数据更有效地完成这样的事情吗？

Answer 1

多个ftp客户端，方法是将系统中的每个顶级目录挂载为单独的curlftpfs。如果带宽最大化，发送到多个云服务器。

离线媒体导入。假设你可以让每个人都参与到物理媒体的处理中来。

Answer 2

您考虑过使用商业软件来加速GCS备份吗？GCS服务器可以选择将FileCatalyst挂载为文件系统。然后，您可以使用任何FileCatalyst客户端应用程序(基于HotFolder、CLI、Web )将文件传输到GCS作为虚拟文件夹挂载的FileCatalyst服务器。

以下是产品链接：https://filecatalyst.com/solutions/filecatalyst-direct/

是的，我为FileCatalyst工作。