如何使用python库将2 mb压缩到300mb

Question

我有一百万的字符串数据并写入到一个文件中，我正在使用Python gZip压缩，大约2 MB的大小，我想减少到250-300MB？

有没有办法压缩更多，使其达到300MB？

任何帮助都将不胜感激。

谢谢!

Answer 1

有时，您可以帮助gzip和其他算法在压缩前对数据进行预处理。

例如，如果您有一张图像，您可以尝试压缩当前像素和前一个像素之间的差异，而不是压缩原始像素数据。

因此，不要只压缩字符串数据，而要尝试在使用关于数据本身的知识之前对其进行预处理。

不要只计算字符之间的差值:尝试标准化以减少差异(删除不需要的字符、最后一个字符和行尾之间的空格、不需要的空格等)。

如果字符串数据由字段组成(通常是这样)，另一种有效的技术是压缩列而不是行。列式数据往往具有较小的方差，gzip将很容易地利用这一点。

请记住，从2 2GB压缩数据到300M压缩数据将是相当困难的，您可能需要在解压缩后处理数据以使其可用。