如何使用Scala获取HDFS文件系统中目录中的磁盘使用量或文件大小

Question

我试图获取Scala中HDFS目录中文件的大小。我可以在REPL中执行以下操作：

Seq("/usr/bin/hdfs", "dfs", "-du", "-s", "/tmp/test").!

但我不能将结果存储到值中。如何获得Scala目录中文件的大小？

Answer 1

您使用的!方法来自ProcessBuilder。

(Seq[String]被隐式转换为ProcessBuilder，从而允许您访问!)。

/** Starts the process represented by this builder, 
  * blocks until it exits, and returns the exit code.
  */
abstract def !: Int

如果您想要输出，请使用不同的方法，如!!

/** Starts the process represented by this builder, 
  * blocks until it exits, and returns the output as a String.
  */
abstract def !!: String

我建议查看在ProcessBuilder上定义的其他方法。我肯定其中至少有一个能满足你的需要。

Answer 2

我建议使用https://github.com/pathikrit/better-files

import better.files._
import java.io.{File => JFile}

val size = File("/usr/bin/hdfs").size
println(size)