在管理表中的时间旅行

Question

在数据库规范中指出：

默认情况下，Databricks中创建的所有表都是Delta表。

我创建一个表

df.write.saveAsTable("table_name")

使用sql我可以time-travel

%sql
SELECT * FROM table_name VERSION AS OF 0

现在如何使用python进行time-travel？我寻找类似的东西

spark.table("mytab2").versionAsOf(3)

Answer 1

最简单的方法：

spark.table("mytab2@v3")  # as of version

或

spark.table("mytab2@20221012093243000")  # as of timestamp

参考资料：表批读写/@语法.在同一页上，也有一个DataFrameReader API选项，尽管为此您需要为Delta表提供显式的DBFS路径，因此这有点不方便。

Answer 2

这种语法也适用于：

spark.read.format("delta").option("versionAsOf", "0").table("mytab2")