为什么我看不到AWS Glue中自定义转换中的输出模式中的摄取时间列？

Question

我尝试使用add_ingestion_time_columns (https://docs.aws.amazon.com/glue/latest/dg/aws-glue-api-crawler-pyspark-extensions-glue-context.html#aws-glue-api-crawler-pyspark-extensions-glue-context-add-ingestion-time-columns)将摄取时间列添加到动态框架中。我在AWS Glue中创建了一个作业，在那里我加入了两个csv文件，然后创建了一个自定义转换，尝试在输出中添加这些新的时间列：

def MyTransform (glueContext, dfc) -> DynamicFrameCollection:
    FirstDataFrame = dfc.select(list(dfc.keys())[0]).toDF()
    dynamic_frame = DynamicFrame.fromDF(glueContext.add_ingestion_time_columns(FirstDataFrame, "hour"), glueContext, "DynamicFrameDateAndHour" )
    return DynamicFrameCollection ({"CustomTrasform": dynamic_frame}, glueContext)

我希望可以在输出模式中看到新列，但看起来什么都没有发生。有人知道我应该更改什么来添加这个列吗？视觉作业

Answer 1

好的，我知道了--我们必须手动添加这些新列，它们必须自动填充:转到自定义转换中的输出模式，编辑->，->，添加根键，->，添加第一列，比如ingest_year，->，应用，->，再次添加根键，添加另一列等等。