首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >高效数据导入PostgreSQL数据库

问高效数据导入PostgreSQL数据库
EN

Stack Overflow用户
提问于 2016-04-28 14:47:29
回答 1查看 560关注 0票数 1

我刚刚设计了一个Pg数据库,需要选择一种用数据填充DB的方法,数据由txt和csv文件组成,但通常可以是包含带有分隔符的字符的任何类型的文件,我正在用java编程,以便数据具有相同的结构(有很多不同类型的文件,我需要找到文件的每一列代表什么,这样我就可以将其与DB的一列关联起来),我想了两种方法:

  • 将文件转换为同一类型的文件( JSON ),然后获取DB定期检查JSON文件并导入其内容。
  • 通过JDBC直接连接到数据库,将字符串发送到DB (我仍然需要创建一个备份文件,其中包含插入到DB中的内容,因此在这两种情况下都创建和写入了一个文件)。

从时间效率的角度来看,你会选择哪一个?我有点想要使用第一个文件,因为在DB中处理json文件会更容易。如果您有任何其他建议,也将是欢迎的!

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2016-04-28 15:19:46

JSON或CSV

如果您可以自由地将数据转换为CSV或JSON格式,则可以选择CSV。这是因为您将能够使用抄送自一次将大量数据批量加载到postgresql中。

COPY支持CSV,但JSON不支持。

直接插入值.

如果您只需要插入几条(甚至是几千条)记录,但是由于速度慢,所以不适合大量的记录,这就是应该采取的方法。

如果选择此方法,则可以使用“复制到”创建备份。但是,如果您觉得需要用java代码创建备份文件。选择作为CSV的格式意味着您可以像上面讨论的那样进行大容量加载。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/36918140

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档