使用NamedParameterJdbcTemplate,当我执行一个查询时,它会检索数以百万计的文档。我需要处理所有它们,但它们不必一次全部加载到内存中。我如何批量处理结果集,而不需要应用程序指定额外的查询子句(例如,不在()中使用primary_key )
发布于 2015-05-07 00:59:48
我认为您可以使用任何模板(SimpleJdbc、NamedJdbc或JdbcTemplate),只要您使用ResultSetExtractor和RowMapper或任何其他分页技术检索块中的数据。你可以参考
发布于 2015-05-07 01:04:26
我会说考虑使用原生查询,首先对数据进行排序,然后使用某种分页关键字作为TOP, LIMIT, ROWNUM (取决于您的数据库),根据页面返回数据块,将信息带到应用程序,增加网络流量,我相信数据库可以有效地完成这项任务。
有一个很好的spring batch模块,它允许您使用
<bean id="cmrProcessReader" class="org.springframework.batch.item.database.JpaPagingItemReader" scope="step">
<property name="entityManagerFactory" ref="entityManagerFactory" />
<property name="queryString" value="SELECT cmr FROM CmrRequestEntity cmr where cmr.errorMessage is null and cmr.onThread = 0 and cmr.processed = 0 " />
<property name="pageSize" value="10" />
</bean>但我相信您没有使用JPA,因此请考虑使用原生查询。
https://stackoverflow.com/questions/30082958
复制相似问题