S3中用于Mongo到Parquet文件的AWS胶

Question

我们可以使用AWS胶进行以下操作吗？

1. 从MongoDB中提取数据
2. 转换为Parquet文件并将数据存储在S3中

Answer 1

是的，这可以在Glue ETL作业中使用"connectionType": "mongodb" as Source完成，语法请参考这。

另外，这有下面的示例，它从mongodb读取数据，然后可以以拼花文件格式写入S3。

mongo_uri = "mongodb://<mongo-instanced-ip-address>:27017"


read_mongo_options = {
    "uri": mongo_uri,
    "database": "test",
    "collection": "coll",
    "username": "username",
    "password": "pwd",
    "partitioner": "MongoSamplePartitioner",
    "partitionerOptions.partitionSizeMB": "10",
    "partitionerOptions.partitionKey": "_id"}

dynamic_frame = glueContext.create_dynamic_frame.from_options(connection_type="mongodb",
                                                              connection_options=read_mongo_options)    

一旦您拥有了数据，那么在执行您想要执行的任何转换之后，使用下面的语句将数据写回s3：

glueContext.write_dynamic_frame.from_options(frame = dynamic_frame,
          connection_type = "s3",
          connection_options = {"path": "s3://glue-parquet/output-dir"},
          format = "parquet")