使用转换将2亿条记录从源模式迁移到目标模式

Question

我正在做一些迁移项目，我们需要将数据从旧系统迁移到新系统。每个系统都有自己的模式，因此我们也需要转换。例如，在旧版本中，我们有yyyy-mm-dd格式的日期，而在新版本中，我们有新的纪元，同样的方式，旧系统代码到新系统代码，等等。

这里值得注意的一点是，2亿条记录并不是建立在1个关系上，而是2亿条逻辑业务对象。因此，每个逻辑业务对象实习生由许多表组成(粗略地说，我可以说是10-12个关系，每个逻辑业务对象总共平均有50条记录)

在我们之前的迁移中，我们有一个spring批处理作业(具有4个线程的多线程)在公司基础设施上运行，使用16 we和4个核心CPU，在2秒内迁移5个逻辑业务对象。显然，我们不能将此用于批量迁移。寻找替代方法，如在PL/SQL过程中使用并行执行或任何其他方法。

我们不能依赖ETL团队，因为时间线与我们的项目截止日期不匹配。有没有什么有效的方法来处理这个问题？

贾根

Answer 1

通过禁用索引和约束，PLSQL将始终更快。

如果您有复杂的逻辑，spring batch可以基于您的逻辑业务对象处理本地分区或远程分区，并增加您的硬件配置或运行在具有特定逻辑业务对象的不同服务器上，以提高性能。我们有几个从文件到数据库以及从数据库到数据库的成功经验，但比您的CPU配置(32 CPU)更高。

Partition based on Logical business object+reader+writer+hardware configuration+Number of workers在这里起到了作用。