ETL -将数据从oracle db推送到aws s3

Question

我有一个甲骨文数据库，大约有20张桌子。我想将数据从oracle表中推入一个S3桶中。我想做这个实时或最坏的近实时时间。一旦数据被获取，我可能需要做一些小的数据转换-例如:混淆敏感数据或进行外部服务调用来标记敏感数据。我看到amazon胶水是一个etl工具，但我不确定它是否适合这个用途。

Answer 1

AWS数据消防软管是理想的情况下。如果您想要进行转换，可以介绍Lambda。每个记录在传递到目的地之前都将被传递给lambda，并且您可以引入掩码或将任何数据转换到目的地。

Data-Transformation: https://docs.aws.amazon.com/firehose/latest/dev/data-transformation.html

Oracle到AWS动态数据火龙带：X富尔德将您的oracle数据传送到消防喉。

https://www.xplenty.com/integrations/oracle/amazon-kinesis-firehose/

希望能帮上忙。

没有Xplenty的：

您可以按照文档在ORACLE下创建触发器来触发lambda来传递记录。

https://aws.amazon.com/blogs/big-data/from-sql-to-microservices-integrating-aws-lambda-with-relational-databases/

ORACLE (句柄、触发器和转换) --消防软管-- S3