Brotli压缩多线程

Question

据我理解，布罗蒂将块大小信息存储在元块头中，其中只有块的最终未压缩大小，而没有关于压缩长度(9.2)的信息。我猜想需要创建一个包装器，以便与多个线程一起使用，或者可能类似于Mark的皮格斯。

在这种情况下，同样的线程处理原则是否适用于Brotli，或者在涉及多线程实现时是否有任何可预见的问题需要注意？

Answer 1

为此，您可以使用brotli格式。我让他们添加将元数据放入空元块的选项(其中“空”意味着元块产生零个未压缩数据)。您可以在元数据中放置标记，以帮助查找元块。插入的空元块也在字节边界处启动下一个元块.

每个元块可以独立于其他元块。如果流是以这种方式构造的，那么在压缩或单独解压缩它们时，组合它们就没有问题。可能依赖的区域是使用的最后四个距离的环缓冲区，并向后引用当前元块的开头。为了并行使用，可以而且必须构造元块，使其不依赖于最后四个距离，而不是指环缓冲器，直到它已经填充了与当前元块的距离。此外，不允许在当前元块之前返回的距离(这不包括静态引用)。最后，您可以附加一个空的或元数据元块，以将序列带到字节边界，以便于连接。

顺便说一句，看起来您正在链接到一个旧版本的草稿格式。这是一个链接到当前版本。