在单独的线程中执行压缩的GZIPOutputStream

Question

有没有一个GZIPOutputStream的实现可以在单独的线程中完成繁重的任务(压缩+写入磁盘)？

我们不断地写入大量的GZIP压缩数据。我正在寻找一个可以替代GZIPOutputStream的插入式替代品。

Answer 1

您可以写入PipedOutputStream，并拥有一个线程来读取PipedInputStream并将其复制到您喜欢的任何流中。

这是一个通用的实现。你给它一个要写的OutputStream，它会返回一个要写的OutputStream。

public static OutputStream asyncOutputStream(final OutputStream out) throws IOException {
    PipedOutputStream pos = new PipedOutputStream();
    final PipedInputStream pis = new PipedInputStream(pos);
    new Thread(new Runnable() {
        @Override
        public void run() {
            try {
                byte[] bytes = new byte[8192];
                for(int len; (len = pis.read(bytes)) > 0;)
                    out.write(bytes, 0, len);
            } catch(IOException ioe) {
                ioe.printStackTrace();
            } finally {
                close(pis);
                close(out);
            }
        }
    }, "async-output-stream").start();
    return pos;
}

static void close(Closeable closeable) {
    if (closeable != null) try {
        closeable.close();
    } catch (IOException ignored) {
    }
}

Answer 2

我发布了一些代码，这些代码完全符合您的要求。Java不能跨多个线程自动流水线这样的调用，以便重叠计算、压缩和磁盘I/O，这一直让我感到沮丧：

https://github.com/lukehutch/PipelinedOutputStream

这个类将对OutputStream的写操作拆分成单独的生产者线程和消费者线程(实际上是为消费者启动一个新线程)，并在它们之间插入一个阻塞的有界缓冲区。在缓冲区之间有一些数据复制，但这是尽可能高效地完成的。

您甚至可以将其分层两次，以便在不同于gzip压缩的单独线程中进行磁盘写入，如README.md所示。