JSON ISO 8601时间字符串到时间格式AWS-Glue

Question

我有JSON格式的数据，在它的示例"2017-06-29T00:00:00-0400“中具有ISO 8601时间戳格式，并且我试图使用AWS Glue为Athena/Quicksight使用进行转换；然而，我尝试过的每个转换组合仍然将目标字段视为字符串(在爬行目标json文件之后)。在尝试查询雅典娜中的表时，我还会收到一个HIVE_BAD_DATA错误解析字段。

Answer 1

感谢您的输入，我能够通过使用parseDate(replace(substring({date_in_ISO},1,19)，'T‘、“")、’yyyy:mm:ss‘在Quicksight基础上创建一个计算字段来解决我的问题。

Answer 2

您可以尝试在表定义的serde参数部分设置timestamp.formats=yyyy-MM-dd'T'HH:mm:ss+|-hhmm。你可以在AWS胶水里这样做。

Answer 3

试一试

df = df.withColumn("isodate"，to_timestamp("isodate"，“yyyy:mm:ssZ”))