我有一个包含多个步骤的弹簧批,有些是顺序的,有些是并行的。其中一些步骤涉及获取数百万行,并且查询有多个联接和左联接。我尝试使用JdbcPagingItemReader,但是order子句只挂起查询。即使等了30分钟我也得不到结果。所以我转到了JdbcCursorItemReader。这样做行吗?据我所知,JdbcCursorItemReader一次获取所有数据,并根据提交间隔写出它。是否有任何选项可指定读取器一次获取50000条记录,这样我的应用程序和系统就不会超载?
谢谢你的回应,迈克尔。我有22个定制的项目阅读器,是从jdbcCursorItemReader扩展而来的。如果有多个线程,Spring批处理如何处理结果集?在这种情况下,是否也存在从同一个结果集读取多个线程的可能性?
发布于 2015-07-22 16:54:51
JdbcCursorItemReader能够配置fetchSize (每个请求从数据库返回多少条记录),但这取决于数据库及其配置。例如,大多数数据库都可以配置获取大小,并且可以使用它。但是,MySql要求您将获取端设置为Integer.MIN_VALUE,以便流结果。Sqlite是另一种有特殊要求的产品。
尽管如此,重要的是要知道JdbcCursorItemReader并不是线程安全的(多个线程将从同一个ResultSet读取)。
我个人主张调优您的查询,但假设有上述条件,您应该能够使用JdbcCursorItemReader罚款。
https://stackoverflow.com/questions/31568669
复制相似问题