解析火花中的RFC3339时间戳

Question

火花的CSV timestampFormat

timestampFormat -设置指示时间戳格式的字符串。自定义日期格式遵循java.text.SimpleDateFormat的格式。这适用于时间戳类型。如果无设置，则使用默认值yyyy‘the :mm:ss.SSSXXX。

SimpleDateFormat似乎不太支持RFC3339，这看起来像2017-11-27T07:10:07Z。

当读取CSV文件时，我应该如何配置spark来解析这个时间格式？

Answer 1

星火会自动为你做这件事：

>>> df=spark.read.option("header","true").option("inferSchema","true").option("delimiter",",").csv("file:///temp/1.csv")
>>> df.printSchema()
root
 |-- ts: timestamp (nullable = true)
 |-- val: integer (nullable = true)

>>> df.show()
+-------------------+---+
|                 ts|val|
+-------------------+---+
|2017-11-27 08:10:07|  1|
|2017-11-28 09:08:08|  1|
|2017-11-30 00:59:59|  1|
+-------------------+---+