首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用Spring DAO的NamedParameterJdbcTemplate处理大型数据集

问使用Spring DAO的NamedParameterJdbcTemplate处理大型数据集
EN

Stack Overflow用户
提问于 2015-05-07 00:53:43
回答 2查看 1K关注 0票数 0

使用NamedParameterJdbcTemplate,当我执行一个查询时,它会检索数以百万计的文档。我需要处理所有它们,但它们不必一次全部加载到内存中。我如何批量处理结果集,而不需要应用程序指定额外的查询子句(例如,不在()中使用primary_key )

EN

回答 2

Stack Overflow用户

发布于 2015-05-07 00:59:48

我认为您可以使用任何模板(SimpleJdbc、NamedJdbc或JdbcTemplate),只要您使用ResultSetExtractor和RowMapper或任何其他分页技术检索块中的数据。你可以参考

Pagination Using Spring ResultSetExtractor

票数 0
EN

Stack Overflow用户

发布于 2015-05-07 01:04:26

我会说考虑使用原生查询,首先对数据进行排序,然后使用某种分页关键字作为TOP, LIMIT, ROWNUM (取决于您的数据库),根据页面返回数据块,将信息带到应用程序,增加网络流量,我相信数据库可以有效地完成这项任务。

有一个很好的spring batch模块,它允许您使用

代码语言:javascript
复制
<bean id="cmrProcessReader" class="org.springframework.batch.item.database.JpaPagingItemReader" scope="step">
    <property name="entityManagerFactory" ref="entityManagerFactory" />
    <property name="queryString" value="SELECT cmr FROM CmrRequestEntity cmr where cmr.errorMessage is null and cmr.onThread = 0 and cmr.processed = 0 " />
    <property name="pageSize" value="10" /> 
</bean>

但我相信您没有使用JPA,因此请考虑使用原生查询。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/30082958

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档