是否有可能将两个不同的数据库实用程序组合在一起，比如Teradata的Fast export到Greenplum的GPloader？

Question

通常，我使用JDBC连接和一些ETL工具将数据从一个数据库(即Teradata)移动到另一个数据库(即Greenplum)。

然而，这两个数据库都带有内置的实用程序，可以非常快地加载/导出大量数据，远远快于JDBC！但据我所知，它的缺点是它只能在文件中执行此操作。

所以，如果我想使用它们，我必须遵循这样的过程-

Teradata -(快速导出)->文件-(Gploader)-> Greenplum

我想知道是否有可能跳过文件部分，并结合这两个实用程序。

Teradata -(FastExport& Gploader)--> Greenplum。

这样我就可以非常快地传输大量数据！

Answer 1

是的，你当然可以。Greenplum支持所有类型的外部表。一种解决方案是使用执行命令的外部表。该命令可以是连接到Teradata以获取数据并使用FastExport选项的Java程序。

我写的工具"gplink“就是为了做到这一点。它自动为JDBC源创建Greenplum外部表。

Github：https://github.com/pivotalguru/gplink

Teradata连接示例：https://github.com/pivotalguru/gplink/blob/master/connections/teradata.properties

我的博客：http://www.pivotalguru.com/?page_id=982