我正在尝试获取使用DataFrame创建的Delta Lake表的元数据信息。有关版本、时间戳的信息。已尝试:spark.sql("describe deltaSample").show(10,false) -这不提供与版本和时间戳相关的信息:+-----、时间戳信息。spark.sql("describe history
我的当前脚本将使用我的时间戳,将其转换为unix时间戳,并将其存储为新列。然后,查看当前时间戳,它将减去900秒,并添加900秒以获得前15分钟的记录和当前时间戳之后的15分钟的记录。当我在创建新列“时间戳”时包含MM/dd/yyyy时,这是可行的:
val taxiSub = spark.read.format("
我需要将时间戳字段写入avro,并确保数据保存在UTC中。目前,avro在服务器的Local中将其转换为long (时间戳millis ),这会导致问题,就好像读取bk的服务器是不同的时区一样。我看了一下DataFrameWriter,它似乎提到了一个名为timezone的选项,但是help.Is似乎没有办法强迫Avro考虑在特定时区接收到的所有时间戳字段?**CODE SNIPPET**
val data = Seq(R