我需要使用Java程序将大量数据(近1000万条记录)从一个数据库(Oracle)传输到另一个数据库(Postgres)。我已经完成了同样的操作,创建了与两个数据库的连接,从源数据库中查询数据,然后通过迭代结果集将数据插入到目标数据库中。但是传输数据需要很长的时间。有没有什么方法可以快速完成传输过程?
发布于 2012-05-10 18:16:21
一种替代方法是将表中的所有数据导出到一个文本文件中,然后将该数据直接导入postgres。我不记得oracle有什么导出功能,但在最坏的情况下,你总是可以像这样使用一个查询,将表的内容转储为一组insert语句:
选择'insert into mynewtable values(‘|| old.a || ',’|| old.b || ...etc..|| ');‘from myoldtable old;
我确实在几个小时内处理过Oracle数据库(使用Java)中的10 an记录(每条记录之间有很多处理)。你希望有什么样的表现,你现在得到的是什么?
在postgres表中插入时,是否有很多索引或约束被检查?也许你的代码出了其他问题?如果你知道所有的行都是有效的,也许你应该在插入时删除postgres db中的约束?
或者,如果你已经有一段时间没有这样做了,也许你需要清理数据库?
发布于 2012-05-10 23:33:08
如果您仅限于单线程读取数据、写入数据,则没有太大的改进空间。
这种类型的性能受到几个不同因素的限制,包括通过网络传输的数据量、网络速度、数据库索引和配置以及网络/主机中的其他一些因素。
至少,你应该为你的读连接设置一个更大的fetchsize。
ResultSet rs;
...
rs.setFetchSize(500);在插入方面,您还应该考虑使用CallableStatement进行批处理
CallableStatement cs;
Connection conn;
conn.setAutoCommit(false);
...
cs.addBatch();
if (rowCount % batchsize == 0) {
int[] updateCounts = cs.executeBatch();
conn.commit();
batchCount = 0;
for (int i = 0; i < updateCounts.length; i++) {
if (updateCounts[i] < 1)
bad.write(batchRec[i]);
}
}您还可以在Oracle中执行其他操作来提高插入性能,其中之一是使用命名管道设置批量加载,然后您的进程就可以写入该命名管道。它们是无日志记录的操作,所以速度很快。我还没有在Java中做过命名管道的事情,所以它是一些值得研究的东西,但这应该可以让您上手了。
你需要找出你的瓶颈在哪里。我已经看到性能随着时间的推移而下降,因为查询是对某些表进行表扫描,并且检索后面的行的数据比检索前面的行需要更长的时间。
与其他操作一样,您需要开始引入计时,以查看select是否开始花费更多时间,或者读取性能是否相当稳定(如果后面的行读取花费的时间比前面的行读取时间长,这是表扫描的一个很好的指示符)。
最后,如果您可以灵活地分解查询,则可以使用多个工作线程来并行处理数据。
即。而不是
select a,b,c from source table你会把它分解成
select a,b,c from source table where a < 10;
select a,b,c from source_table where a >= 10 and a < 50;
select a,b,c from source_table where a >= 50;就像其他事情一样,有上百种方法可以做事情。
发布于 2012-05-10 17:51:47
这里的问题是编程语言使用游标来处理元组的集合,游标只能遍历它们,不能进行批量加载或类似的事情,这是真的,对于每种编程语言,更快的解决方案是以某种方式将Oracle连接到PostgreSQL,我不确定如何做,但我认为这应该是可能的。有Oracle函数可以处理所有的事情。
https://stackoverflow.com/questions/10531420
复制相似问题