Scala代码不获取s3文件

Question

我正在尝试运行一个EMR烫伤作业，而Scala代码应该获取位于S3桶中的文本文件的内容。scala.io.source库混淆了S3路径的正确位置。

我将参数runidfile提供给EMR作业：

--runidfile s3://my-bucket/input.txt

scala代码执行以下操作：

val runid_path = args("runidfile")
val runid = Source.fromFile(runid_path).getLines().mkString

代码在某种程度上不接受S3路径中的"//“，我得到了一个错误：

由: java.io.FileNotFoundException: s3:/my-bucket/input.txt引起(没有此类文件或目录) 在java.io.FileInputStream.open(本地方法) 在java.io.FileInputStream.(FileInputStream.java:146) 在scala.io.Source$.fromFile(Source.scala:90) 在scala.io.Source$.fromFile(Source.scala:75) 在scala.io.Source$.fromFile(Source.scala:53) 在com.move.scalding.userEvents.RecommenderValidator.(RecommenderValidator.scala:37)

有什么解决办法或解决办法吗？我尝试使用Source.fromURL，但是S3不是一个有效的协议，所以它不接受它。

Answer 1

scala.io.Source库不打算直接从S3访问文件。你需要另一个图书馆。

你可以使用官方的亚马逊S3 Java库。下面是一些示例代码(从这个问题及其答案复制而来)

val credentials = new BasicAWSCredentials("myKey", "mySecretKey")
val s3Client = new AmazonS3Client(credentials)
val s3Object = s3Client.getObject(new GetObjectRequest("my-bucket", "input.txt"))
val myData = Source.fromInputStream(s3Object.getObjectContent())

val runid = myData.getLines().mkString