如何使用Spring-Batch进行大容量插入？

Question

我使用spring-batch和spring- data -jpa来读取大型csv数据文件，并使用hibernate将现有条目持久化(或更新)到postgresql数据库中。

如何配置spring才能使用批量/批量插入？

在配置作业step时，我相应地设置了chunk大小：

StepBuilderFactory step;
step.chunk(10000).reader(csvReader).writer(jpaItemWriter).build();

我还需要关注hibernate.jdbc.batch_size属性吗？我是否还需要设置它，可能设置为与块大小相同的大小？

Answer 1

当您设置块大小时，您的读取器将以指定的块向写入器发送数据。因此，区块大小决定了在spring batch中对数据库的实际批量更新。

我认为batch_size并不重要，因为您已经为特定步骤设置了特定块大小的作业。

Answer 2

在写入数据库时，还需要使用批量更新查询。Google获取详细信息--因此，根据您执行JDBC查询的方式，您将需要使用相应的批量更新机制。