下载和解压Heroku和S3文件的流程？

Question

我正在处理苹果公司的iTunes EPF数据文件。我每天需要下载，解压，然后每天处理1-3 3GB的.tbz文件中的数据。

我有一个Rails应用，托管在Heroku上，大部分资产存储都在S3上。

但我遇到麻烦的是从苹果获取EPF文件的流程。

我要下载的文件有3个。每个文件都是.tbz文件，大小从1 1GB到约20MB不等。

Heroku没有可靠的存储文件的方法，所以我假设我需要直接将文件下载到S3？那我是不是应该在那里解开拉链？

这就是我遇到麻烦的地方。我知道如何从苹果获取文件并上传到S3上，但我不理解的是解压缩。

由于数据文件可能非常大，因此最大限度地减少通过S3的传输对于降低成本至关重要。

有没有一项服务可以让我下载苹果的文件到他们的服务器，解压缩，然后上传到S3上？

Answer 1

Heroku的file system is ephemeral，但你仍然可以写出到/tmp作为一个临时的临时空间下载，解压缩，做任何你需要的处理，重新打包(如果需要)，然后上传到S3。由于automatic dyno restarts (或手动重启)，只要确保您的服务知道如何在中断时优雅地恢复即可。