每日导入Heroku hosted Postgres数据库

Question

我正在向Heroku托管的专用PostgreSQL实例移植MySQL数据库。我知道如何将初始数据传递给Heroku。但是，每天都有来自外部公司的数据“馈送”，需要每天导入。它被推送到FTP服务器，它是一个zip文件，其中包含几个不同的CSV文件。通常，我可以/将其scp到Postgres机器上，然后让一个cron作业执行"COPY tablename FROM path/ to /file.csv“来导入数据。然而，使用Heroku让我有点困惑，因为最好的方法是这样做。注意:我已经看过并回顾了关于导入数据的heroku dev article。但是，这更像是一个转储文件。我只是在处理CSV文件中的每日导入。

有人在Heroku上做过类似的事情吗？如果是这样，你能给出什么是最好的方法的建议吗？

更多信息:我的应用程序是Cedar堆栈上的Python/Django 1.3.3。而且我的文件可能有点大。其中一些可以超过50K条记录。因此，遍历它们并使用Django ORM可能会有点慢(但是，仍然可能是最好的/唯一的解决方案)。

Answer 1

有两个选项：

1. 启动一个非heroku EC2实例，从FTP获取，解压缩，并从那里启动副本。通过使用COPY STDIN option (http://www.postgresql.org/docs/9.1/static/sql-copy.html)，您可以指示数据来自客户端连接，而不是来自您无权访问的服务器文件系统上的文件。
2. 该文件有多大？它可能适合于dyno的临时文件系统，因此一个进程或一个关闭的作业可以从FTP服务器下载该文件，并在dyno中完成整个过程。一旦进程退出，文件系统数据就会消失。