首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >春季批处理中的PagingItemReader与CursorItemReader

问春季批处理中的PagingItemReader与CursorItemReader
EN

Stack Overflow用户
提问于 2015-07-22 16:18:30
回答 1查看 2.5K关注 0票数 1

我有一个包含多个步骤的弹簧批,有些是顺序的,有些是并行的。其中一些步骤涉及获取数百万行,并且查询有多个联接和左联接。我尝试使用JdbcPagingItemReader,但是order子句只挂起查询。即使等了30分钟我也得不到结果。所以我转到了JdbcCursorItemReader。这样做行吗?据我所知,JdbcCursorItemReader一次获取所有数据,并根据提交间隔写出它。是否有任何选项可指定读取器一次获取50000条记录,这样我的应用程序和系统就不会超载?

谢谢你的回应,迈克尔。我有22个定制的项目阅读器,是从jdbcCursorItemReader扩展而来的。如果有多个线程,Spring批处理如何处理结果集?在这种情况下,是否也存在从同一个结果集读取多个线程的可能性?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2015-07-22 16:54:51

JdbcCursorItemReader能够配置fetchSize (每个请求从数据库返回多少条记录),但这取决于数据库及其配置。例如,大多数数据库都可以配置获取大小,并且可以使用它。但是,MySql要求您将获取端设置为Integer.MIN_VALUE,以便流结果。Sqlite是另一种有特殊要求的产品。

尽管如此,重要的是要知道JdbcCursorItemReader并不是线程安全的(多个线程将从同一个ResultSet读取)。

我个人主张调优您的查询,但假设有上述条件,您应该能够使用JdbcCursorItemReader罚款。

票数 4
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31568669

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档