Akka-HTTP:文件上传

Question

我正在尝试使用akka http实现一个简单的文件上传。我的尝试如下：

    import akka.actor.ActorSystem
    import akka.event.{LoggingAdapter, Logging}
    import akka.http.scaladsl.Http
    import akka.http.scaladsl.model.{HttpResponse, HttpRequest}
    import akka.http.scaladsl.model.StatusCodes._
    import akka.http.scaladsl.server.Directives._
    import akka.stream.{ActorMaterializer, Materializer}
    import com.typesafe.config.Config
    import com.typesafe.config.ConfigFactory
    import scala.concurrent.{ExecutionContextExecutor, Future}
    import akka.http.scaladsl.model.StatusCodes
    import akka.http.scaladsl.model.HttpEntity
    import java.io._
    import akka.stream.io._

    object UploadTest extends App {
      implicit val system = ActorSystem()
      implicit val executor = system.dispatcher
      implicit val materializer = ActorMaterializer()

      val config = ConfigFactory.load()
      val logger = Logging(system, getClass)

      val routes = {
        pathSingleSlash {
          (post & extractRequest) { 
            request => {
              val source = request.entity.dataBytes
              val outFile = new File("/tmp/outfile.dat")
              val sink = SynchronousFileSink.create(outFile)
              source.to(sink).run()
              complete(HttpResponse(status = StatusCodes.OK))
            }
          }
        }
      }

      Http().bindAndHandle(routes, config.getString("http.interface"), config.getInt("http.port"))

    }

此代码有几个问题：

1. 无法上载大于配置实体大小的文件：Request Content-Length 24090745 exceeds the configured limit of 8388608
2. 在一行中执行两个上传将导致dead letters encountered.异常。

克服大小限制的最佳方法是什么?如何正确关闭文件，以便后续的上载将覆盖现有文件(暂时忽略并发上传)？

Answer 1

对于第2点，我认为source.to(sink).run()以不定期的方式执行操作。它变成了一个Future。因此，您的HTTP请求可能会在文件写入完成之前返回，因此，如果您在第一个请求返回时在客户端启动第二个上载，则第一个请求可能尚未完成对该文件的写入。

您可以使用onComplete或onSuccess指令只在将来完成时才完成http请求：

http://doc.akka.io/docs/akka-stream-and-http-experimental/1.0-M2/scala/http/directives/alphabetically.html

http://doc.akka.io/docs/akka-stream-and-http-experimental/1.0/scala/http/routing-dsl/directives/future-directives/onSuccess.html

编辑：

对于内容长度问题，您可以做的一件事是在application.conf中增加该属性的大小。默认情况是：

akka.server.parsing.max-content-length = 8m

请参阅http://doc.akka.io/docs/akka-stream-and-http-experimental/1.0/java/http/configuration.html

Answer 2

总括一些评论，折叠解决方案的工作如下：

1. 增加akka.server.parsing.max-content-length
2. 使用onSuccess

下面是代码的一个片段：

val routes = {
  pathSingleSlash {
    (post & extractRequest) { 
      request => {
        val source = request.entity.dataBytes
        val outFile = new File("/tmp/outfile.dat")
        val sink = SynchronousFileSink.create(outFile)
        val repl = source.runWith(sink).map(x => s"Finished uploading ${x} bytes!")
        onSuccess(repl) { repl =>
          complete(HttpResponse(status = StatusCodes.OK, entity = repl))
        }
      }
    }
  }