AWS :获取create_dynamic_frame.from_options读取的对象列表

Question

我使用create_dynamic_frame.from_options将CSV文件读取到Glue Dynamic Dataframe中。我的Glue工作是使用书签，from_options有一个转换ctx配置和递归搜索。

dyf = glueContext.create_dynamic_frame.from_options("s3", 
    {
        "paths": [
            "s3://bucket/files/"
        ],
        "recurse" : True
    },
    transformation_ctx = "example"
)

s3://bucket/files包含多个CSV。是否有一种方法可以获得实际读取对象的列表？当我使用书签时，已经处理过的文件将被“忽略”。这些被忽略的文件应该从读对象列表中省略。

Answer 1

你可以试试这个：dyf.toDF().withColumn("input_file", input_file_name()).select("input_file").distinct().show()