Oracle GoldenGate实时复制到HDFS

Question

我们需要将所有表从Oracle数据库复制到HDFS (hive)中，实时检测甲骨文的变化。

我们知道Oracle GoldenGate是正确的工具，但是看看这个文档：

https://www.oracle.com/technetwork/middleware/goldengate/documentation/gg-java-adp-bigdata-hdfs-adp-2601138.pdf，

似乎HDFS的适配器只将事务日志存储到HDFS中，作为对数据库所做操作的列表，而需要复制整个数据库。

有办法做到这一点吗？我们仍在评估如何做这件事，因此欢迎任何建议。

Answer 1

GoldenGate是一种“更改数据捕获”复制解决方案。这意味着它只复制“已更改的数据”，即DML生成的增量到表中。

如果您想转储整个数据库，假设您打算复制每个表和表中的所有数据，则应该使用初始负载提取来生成trail文件，这将将每条记录作为插入操作，然后使用GG BigData HDFS适配器将这些数据转储到HDFS。然而，这只是静态数据。就像一个ETL工具。