Spring批处理-通过提取自动生成的密钥写入两个表

Question

当使用spring批处理时，我需要将数据写入两个不同的表。似乎我可以使用CompositeItemWriter和尽可能多的ItemWriters。

但是，我需要在第一个表中插入一个记录，并检索自动生成的主键，并在插入第二个表时使用它。知道如何在这个场景中检索自动生成的密钥吗？

Answer 1

Wis的解决方案确实有效，但从性能角度来看(这通常是讨论批处理时的主要关注点之一)，因此不建议这样做。

问:如何选择插入的行以读取生成的键？您是否有另一个独特的字段，或者至少是它的组合，它可以让您识别所有的书面项目？您可以将“项”列表中的所有项至少作为对db的一个调用来读取吗?还是必须用自己的选择读取每个条目？

至少，您将有一个额外的读调用数据库。但这也可能是每个项目的额外调用。

更好的解决方案是能够在批处理中创建密钥。

如果我们只讨论几千个插入，那么性能可能不是一个问题。然而，如果我们谈论数百万，这将是重要的。

无论如何，如果我真的必须从数据库中重新读取，我将使用以下两种方法。

首先，如果我不必在同一个事务中同时写入两个表

步骤1：

• 从源中读取
• 准备数据
• 写入表1，该表创建数据

第2步：

• 从表1读取生成的id
• 必要时做一些处理
• 写入表2

第二，如果我必须在同一个事务中同时写入两个表

public class MyWriter implements ItemWriter<MyObject> {
    private JdbcItemWriter<MyObject> writer1;
    private JdbcItemWriter<MyObject> writer2;

    @PostConstruct
    public void afterPropertiesSet() {
         writer1 = new JdbcItemWriter<MyObject>();
         writer1.set...
         writer1.afterPropertiesSet();

         writer2 = ... same thing

    }

    public void write(List<MyObject> items) {
         writer1.write(items);

         List<MyObject> reReadItems = 
                new JdbcTemplate(datasource)
                   // you could use a row that which has a unique chunk id
                   // or you could construct a query with an appropriate
                   // in-Clause... however, the size of possible in-clauses
                   // is limited, for instance oracle has 1000
                   .query(a query that selects only the entries you inserted above,
                (resultset, row) -> // RowMapper
                { 
                    MyObject obj = new MyObject();
                    obj.setXy(resultset.get...);
                    ...
                    return obj;
                 });
          writer2.write(reReadItems);
    }
}

这至少会将对db的调用限制在每个块中增加一个调用。

Answer 2

编剧总是按顺序执行.因此，您可以在第一个写入器中写入第一个表并读取生成的键，并在第二个写入器中写入第二个表。如果您在第一个编写器中更新了对象，那么您将在第二个编写器中得到更新。

第一位作家看起来可能是：

public class MyWriter implements ItemWriter<MyObject> {
    @Override
    public void write(List<? extends MyObject> items) throws Exception {
        // assuming there is a DB connection
        for(MyObject item: items) {
            // create and execute query to insert data in table 1
            // get generated key and assign it into object
            int key = rs.getInt(...);
            item.setGeneratedKey(key);
        }
    }
}

第二个写入器可以使用generatedKey字段来构造表2的查询。当您在第一个写入器中注入值时，它将对第二个写入器可用。

Answer 3

我是Spring批引导的newby。但有很多大型机批处理的经验。我会这样做，假设您有输入文件: 1-让作业只插入您的实体A与生成的键2-使作业(或步骤)使用生成的键扩展您的输入通过读取db。输出=输入+生成的键3-使你的实体B内嵌的作业，所以不要试图一步一步完成它……