首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用Java传输海量数据

问使用Java传输海量数据
EN

Stack Overflow用户
提问于 2012-05-10 17:45:30
回答 3查看 4.4K关注 0票数 0

我需要使用Java程序将大量数据(近1000万条记录)从一个数据库(Oracle)传输到另一个数据库(Postgres)。我已经完成了同样的操作,创建了与两个数据库的连接,从源数据库中查询数据,然后通过迭代结果集将数据插入到目标数据库中。但是传输数据需要很长的时间。有没有什么方法可以快速完成传输过程?

EN

回答 3

Stack Overflow用户

发布于 2012-05-10 18:16:21

一种替代方法是将表中的所有数据导出到一个文本文件中,然后将该数据直接导入postgres。我不记得oracle有什么导出功能,但在最坏的情况下,你总是可以像这样使用一个查询,将表的内容转储为一组insert语句:

选择'insert into mynewtable values(‘|| old.a || ',’|| old.b || ...etc..|| ');‘from myoldtable old;

我确实在几个小时内处理过Oracle数据库(使用Java)中的10 an记录(每条记录之间有很多处理)。你希望有什么样的表现,你现在得到的是什么?

在postgres表中插入时,是否有很多索引或约束被检查?也许你的代码出了其他问题?如果你知道所有的行都是有效的,也许你应该在插入时删除postgres db中的约束?

或者,如果你已经有一段时间没有这样做了,也许你需要清理数据库?

票数 1
EN

Stack Overflow用户

发布于 2012-05-10 23:33:08

如果您仅限于单线程读取数据、写入数据,则没有太大的改进空间。

这种类型的性能受到几个不同因素的限制,包括通过网络传输的数据量、网络速度、数据库索引和配置以及网络/主机中的其他一些因素。

至少,你应该为你的读连接设置一个更大的fetchsize。

代码语言:javascript
复制
ResultSet rs;
...
rs.setFetchSize(500);

在插入方面,您还应该考虑使用CallableStatement进行批处理

代码语言:javascript
复制
CallableStatement cs;
Connection conn;
conn.setAutoCommit(false);
... 
cs.addBatch();

if (rowCount % batchsize == 0) {
   int[] updateCounts = cs.executeBatch();

   conn.commit();
   batchCount = 0;

   for (int i = 0; i < updateCounts.length; i++) {
        if (updateCounts[i] < 1)
           bad.write(batchRec[i]);
   }
}

您还可以在Oracle中执行其他操作来提高插入性能,其中之一是使用命名管道设置批量加载,然后您的进程就可以写入该命名管道。它们是无日志记录的操作,所以速度很快。我还没有在Java中做过命名管道的事情,所以它是一些值得研究的东西,但这应该可以让您上手了。

你需要找出你的瓶颈在哪里。我已经看到性能随着时间的推移而下降,因为查询是对某些表进行表扫描,并且检索后面的行的数据比检索前面的行需要更长的时间。

与其他操作一样,您需要开始引入计时,以查看select是否开始花费更多时间,或者读取性能是否相当稳定(如果后面的行读取花费的时间比前面的行读取时间长,这是表扫描的一个很好的指示符)。

最后,如果您可以灵活地分解查询,则可以使用多个工作线程来并行处理数据。

即。而不是

代码语言:javascript
复制
select a,b,c from source table

你会把它分解成

代码语言:javascript
复制
select a,b,c from source table where a < 10;
select a,b,c from source_table where a >= 10 and a < 50;
select a,b,c from source_table where a >= 50;

就像其他事情一样,有上百种方法可以做事情。

票数 1
EN

Stack Overflow用户

发布于 2012-05-10 17:51:47

这里的问题是编程语言使用游标来处理元组的集合,游标只能遍历它们,不能进行批量加载或类似的事情,这是真的,对于每种编程语言,更快的解决方案是以某种方式将Oracle连接到PostgreSQL,我不确定如何做,但我认为这应该是可能的。有Oracle函数可以处理所有的事情。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/10531420

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档