首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >DBFS :如何获取数据块中DBFS文件的最后访问时间

问DBFS :如何获取数据块中DBFS文件的最后访问时间
EN

Stack Overflow用户
提问于 2020-04-28 15:16:05
回答 1查看 1.5K关注 0票数 0

是否可以像ls -ltu一样获得上次打开文件的时间,并使用dbutils按访问时间显示和排序所有文件。这是我们在Databricks备注中获取有关ADLS文件的stat所必需的。

EN

回答 1

Stack Overflow用户

发布于 2020-04-29 07:03:30

不幸的是,您不能在使用Databricks实用程序(DBUtils)时使用DBUtils选项。

​

​

用法: dbuitls.fs.ls ls命令返回的序列包含以下属性:

​

​

使用Hadoop文件系统API获取Azure中DBFS文件time的最后访问时间。

此代码使用Hadoop文件系统的listStatus方法根据修改时间对DBFS文件进行排序。

代码语言:javascript
复制
import org.apache.hadoop.fs._
val path = new Path("/mnt/abc")
val fs = path.getFileSystem(spark.sessionState.newHadoopConf)
val inodes = fs.listStatus(path).sortBy(_.getModificationTime)
inodes.filter(_.getModificationTime > 0).map(t => (t.getPath, t.getModificationTime, t.getLen)).foreach(println)

Example1:数据库中关于ADLS文件的 stat

​

​

Example2:统计数据库中的DBFS文件

​

​

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/61483733

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档