是否可以像ls -ltu一样获得上次打开文件的时间,并使用dbutils按访问时间显示和排序所有文件。这是我们在Databricks备注中获取有关ADLS文件的stat所必需的。
发布于 2020-04-29 07:03:30
不幸的是,您不能在使用Databricks实用程序(DBUtils)时使用DBUtils选项。

用法: dbuitls.fs.ls ls命令返回的序列包含以下属性:

使用Hadoop文件系统API获取Azure中DBFS文件time的最后访问时间。
此代码使用Hadoop文件系统的listStatus方法根据修改时间对DBFS文件进行排序。
import org.apache.hadoop.fs._
val path = new Path("/mnt/abc")
val fs = path.getFileSystem(spark.sessionState.newHadoopConf)
val inodes = fs.listStatus(path).sortBy(_.getModificationTime)
inodes.filter(_.getModificationTime > 0).map(t => (t.getPath, t.getModificationTime, t.getLen)).foreach(println)Example1:数据库中关于ADLS文件的 stat

Example2:统计数据库中的DBFS文件

https://stackoverflow.com/questions/61483733
复制相似问题