在处理应用程序时,解析大量文本文件(例如,4000个文件);使用JDBC作为INSERT/SELECT预准备语句将解析的数据存储/读取到DB2中发现时间延迟。(FYI:使用单独的线程来解析数据,然后将日期移到另一个线程以保存到DB2中)。
我可以使用文件写/读机制来解析数据,而不是使用DB2交互吗?它会比快吗?
如果文件处理速度更快,那么需要使用哪种机制:简单文件写入/读取还是对象写入/读取?
发布于 2013-02-05 06:07:41
如果使用得当,简单的文件读/写应该更快,也就是说,如果数据以大块的形式传输的话。
另外,考虑使用内存映射文件。
发布于 2013-02-05 06:15:53
这将取决于您想要读写的数据范围。读取一个巨大的文件有它自己的开销。如果源是一个小文件,那么显然可以快速读取它,因为解析开销很低。但是,如果文件由复杂的结构组成,RDBMS或数据库可能是一个可行的选择。
另一种选择是,您可能希望查看要读写的数据的自动性、一致性、隔离性和持久性(ACID)。
发布于 2013-02-05 20:33:57
您是否考虑过使用来自Java的DB2加载。插入将非常快,您可以使用游标进行选择,或者从文件中插入。
但是,将数据插入/加载到数据库与写入文件完全不同。你想做什么?
https://stackoverflow.com/questions/14701174
复制相似问题