Oracle云到Azure云存储

Question

我们需要将数据从oracle云存储移动到Azure云存储。

该需求基本上是将数据从Oracle ADW数据库(托管在Oracle云上)移动到Snowflake数据库(托管在Azure上)。

由于表中的数据量很大(有些包含60mil+记录)，我们不希望使用任何ETL工具，而是希望设置一个管道，如下所示。

Oracle ADW database Snowflake将数据存储在Oracle存储中-->使用雪花管道或类似的雪花实用程序将数据移动到Azure云存储-> Load to snowflake。

我应该如何进行这个实现呢？

我们是否可以使用Oracle fastconnect和Azure ExpressRoute直接将数据从Oracle Cloud拉到snowflake上(或拉到Azure存储中)，也请分享您的观点

Answer 1

我正在用最简单的方法从Oracle (在prem上，但也可以是云)到Snowflake中寻找相同的东西。看起来数据必须被暴露或丢弃到外部表，转移到Azure Blob存储(如亚马逊S3)，然后使用COPY into推送到Snowflake中-基本上是在磁盘外部表上复制。这就是Snowpipe所做的：

Snowpipe将文件复制到队列中，这些文件将根据指定管道对象中定义的参数以连续的无服务器方式从队列加载到目标表中。下表指示了云存储服务对来自每个云平台上托管的Snowflake帐户的自动化Snowpipe的支持：

我已经有一段时间没有使用它了。另一个选择是GoldenGate，在我上次研究它时，它并不贵：

https://www.snowflake.com/blog/continuous-data-replication-into-snowflake-with-oracle-goldengate/

简单，简单，快速。任何人有任何更好的想法将不胜感激。