我现在正在做一个项目,在这个项目中,我需要将日常数据从一个psql数据库加载到另一个数据库中(两个数据库都在不同的远程机器上)。我使用的Postgres版本是9.5,由于我们的基础架构,我目前使用的是python脚本,虽然我想知道:
是否可以使用我可以轻松调度的psql命令来执行此操作?或者,python对于未来的开发来说是一个足够灵活的工具吗?
编辑:
主数据库包含一个直接连接到网站的后端,另一个包含一个分析系统,它基本上只需要读取主数据库的数据并存储其未来的转换。延时不是很重要,重要的是可靠性和简单性。
发布于 2017-01-11 07:01:43
当然,如果您愿意,您可以使用psql和ssh连接。
这种方法(或使用pg_dump)可以用来减少延迟的影响。
但是,请注意,SQLSQL...values命令可以在单个命令中插入多个行。当我使用python脚本迁移数据时,我构建的插入命令最多可插入1000行,从而将延迟降低了1000倍。
另一种值得考虑的方法是dblink,它允许postgres直接查询远程postgres,因此您可以从远程数据库执行select操作,并将结果插入到本地表中。
Postgres-FDW可能也值得一看。
https://stackoverflow.com/questions/41575004
复制相似问题