- 综合排序
- 最热优先
- 最新优先
Zstandard好还是 Gzip厉害
Zstandard 代码 Zstandard 是一个现代的压缩算法，支持多线程压缩和高压缩比。 以下是一个使用 Python 的 zstandard 库进行压缩和解压的示例： import zstandard as zstd # 压缩 data = b"这是一个需要压缩的数据" compressor 速度: Zstandard 的压缩和解压速度通常比 Gzip 快，尤其是在多线程模式下。 兼容性: Gzip 由于其历史悠久，几乎在所有平台上都有广泛支持，而 Zstandard 相对较新，兼容性稍逊。 结论 Zstandard (zstd) 和 Gzip 都是常见的压缩算法，但它们在不同的场景下各有优劣。
60010编辑于 2025-08-29- 来自专栏Python高级编程
Python 3.14新特性：Zstandard压缩库正式加入标准库，性能提升30%
2025年4月，Python官方发布了PEP 784最终提案，宣布将Zstandard（简称Zstd）压缩库正式纳入标准库，配套推出compression统一命名空间。 长期以来，Python压缩模块分散在zlib、gzip等独立模块中，而PyPI上早已存在zstd和zstandard第三方包，直接使用原名必然引发冲突。 参考文档PEP 784Zstandard
72620编辑于 2025-10-09 - 来自专栏腾讯云大数据
E往无前 | 日志成本下降25%+！腾讯云大数据ES Lucene压缩编码深度优化大揭秘
Zstandard压缩算法 ZStandard压缩算法基于LZ77的改进思路，与LZ4类似。 Zstandard压缩算法的核心：FSE编码 FSE编码由Zstandard作者Yann Collet实现，基于Jarek Duda的ANS算法。 这是Zstandard压缩算法"快"的原因。 将Zstandard压缩算法应用于行存文件压缩 行存文件内部是以Chunk形式组织的，Chunk Size通常为数十KB级别。 我们先将Zstandard压缩应用到了行存文件中，而且尝试了不同的Chunk Size后的效果，如下图所示： 可以看出来，Zstandard压缩算法在压缩率上与Deflate相当，而压缩速度甚至略优于 引入了Zstandard作为Lucene的基础压缩算法。并且从压缩算法原理的角度出发，解释了Zstandard"既快又好"的原因。 4. 针对行存、列存、索引字典文件的详细优化思路。 5.
1.7K20编辑于 2023-02-13 - 来自专栏深度学习与python
亚马逊将自有服务数据的压缩从 Gzip 切换为 Zstd
作者 | Renato Losio 译者 | 平川 策划 | 丁晓昀 最近，亚马逊前副总裁 Adrian Cockcroft 在推文中特别指出了从 gzip 切换到 Zstandard 压缩所带来的好处 Zstandard（其 C 语言实现 zstd 更为知名）是由 Facebook 公司的 Yann Collet 开发的无损数据压缩算法，在多种数据集上提供了很高的压缩比和非常好的性能。 只要可能，我们都使用 zstandard，不仅仅是存储，还有其他东西，比如内部 HTTP 通信。 亚马逊在一些托管服务的 API 中公开了 Zstandard 和对其他压缩算法的支持。 例如，在 Amazon Redshift 中引入 Zstandard 支持后，这家云提供商针对云数据仓库开发了自己的算法 AZ64。
1.4K30编辑于 2023-03-29 - 来自专栏DeepHub IMBA
Python 3.14七大新特性总结：从t-string模板到GIL并发优化
6、原生Zstandard压缩集成 Python 3.14新增了compression.zstd模块，为Zstandard压缩算法提供了原生支持。 Zstandard作为新一代压缩算法，在压缩率和性能方面都显著优于传统的gzip算法，这一集成对于数据密集型应用具有重要意义。 "*1000 # Zstandard压缩 start_time=time.time() zstd_compressed=zstd.compress(sample_data, level=3) zstd_time gzip_time=time.time() -start_time # 比较结果 print(f"Original size: {len(sample_data):,} bytes") print(f"Zstandard 这七项新特性系统性地解决了Python开发中的关键痛点：t-string为模板处理提供了更灵活的机制，智能错误提示和外部调试器接口显著提升了调试效率，GIL控制为并发编程带来了突破性改进，而原生Zstandard
62910编辑于 2025-08-20 - 来自专栏FPGA开源工作室
压缩算法简介
以下是一些适合与ARM跑的压缩算法： Zstandard（Zstd）：Zstandard是一种快速的压缩算法，性能优秀，并且可以在ARM处理器上高效运行。 以下是一些常见的压缩算法按照一般趋势的性能排序： 压缩率（从高到低）： 有损压缩：JPEG2000 > WebP > H.265 (HEVC) > H.264 (AVC) > JPEG 无损压缩：FLIF > Brotli > Zstandard > LZMA (7-Zip) > DEFLATE (zlib) 压缩速度（从快到慢）： Snappy > LZ4 > Zstandard > Deflate (zlib) > Brotli 这里的快慢仅作为一般参考 解压速度（从快到慢）： Snappy > LZ4 > Zstandard > Deflate (zlib) > Brotli 同样，解压速度也会受到实际场景的影响，不同算法适用于不同的应用需求。 内存消耗（从少到多）： Snappy > LZ4 > Zstandard > Deflate (zlib) > Brotli 内存消耗较低的压缩算法可以在受限制的环境下更好地工作，如嵌入式设备等。
1.4K10编辑于 2024-06-21 - 来自专栏网络安全技术点滴分享
揭露利用Tor网络的Docker漏洞攻击链
在受害系统隐秘部署加密货币挖矿程序攻击者利用配置不当的Docker API获取容器环境访问权限，通过Tor隐藏活动痕迹主要攻击目标为云计算密集型行业：科技公司、金融服务机构和医疗组织攻击工具链包含zstd压缩工具（基于ZStandard 登录植入攻击者公钥实现持久化访问工具安装部署masscan端口扫描工具安装zstd压缩工具和torsocks代理工具C2通信通过.onion域名向攻击者C2服务器回传系统信息有效载荷投递通过Tor网络下载Zstandard
26910编辑于 2025-07-26 - 来自专栏华章科技
盘点Greenplum 6.0六大新特性及展望
除了内核版本升级，还增加了大量新特性，包括基于WAL日志的mirror同步、分布式死锁检测、复制表、在线扩容、磁盘限额、自动Master切换、Zstandard压缩、GP-GP集群间高效查询等。 05 支持Zstandard压缩算法 Zstandard是Facebook开源的压缩算法，压缩效率高，在性能和压缩率之间取得了较好的平衡。
1K10编辑于 2022-03-11 - 来自专栏Rust语言学习交流
【Rust日报】2019-09-14 - Rust Bay Area Meetup视频发布
用rust编写的zstd解码器 Zstandard算法是一个无损压缩数据的格式，该格式独立于CPU类型、操作系统、文件系统和字符集，适用于文件压缩、通道和流压缩。 该压缩格式使用Zstandard压缩方法并使用xxHash-64校验方法（可选）来检测数据损坏。 以Zstandard定义的数据格式不会允许随机访问压缩数据。
55020发布于 2019-09-17 - 来自专栏机器学习与统计学
Python 3.14.0 Beta 1 正式发布！
Zstandard 压缩算法支持 (PEP 784) 新增compression.zstd模块，提供对 Zstandard 压缩算法的支持。 Zstandard 是一种快速且高效的压缩算法，现在可以直接在 Python 标准库中使用。 4.
73110编辑于 2025-06-08 - 来自专栏编程小白狼
如何正确选择Hadoop数据压缩格式：Gzip vs LZO vs Snappy
STORED AS ORC tblproperties ("orc.compress"="ZLIB"); 考虑新格式： Zstandard：Facebook开源，提供Snappy速度+Gzip压缩率 LZ4：比Snappy更快的解压速度 结语 选择压缩格式本质是存储、CPU、I/O之间的权衡： 存储敏感 → Gzip/ZLIB 计算敏感 → Snappy/LZ4 需要分片 → LZO/Zstandard
44600编辑于 2025-08-17 - 来自专栏公众号：Lucifer三思而后行
Linux From Scratch（LFS11.0）构建 LFS 系统 - Zstd-1.5.0
Zstandard 是一种实时压缩算法，提供了较高的压缩比。它具有很宽的压缩比/速度权衡范围，同时支持具有非常快速的解压缩。
84760发布于 2021-10-08 - 来自专栏Elasticsearch专栏
【Kafka专栏 10】Kafka消息压缩机制：从带宽保存到存储成本降低
（4）Zstandard（Zstd）：Zstandard是一种新型的压缩算法，它在保持较高压缩率的同时，提供了比其他算法更快的压缩和解压缩速度。Zstandard适用于对压缩率和性能都有要求的场景。 例如，在需要高吞吐量和低延迟的场景下，可以选择Snappy或LZ4算法；在需要更高压缩率的场景下，可以选择Gzip或Zstandard算法。
1.1K10编辑于 2024-06-15 - 来自专栏DeepHub IMBA
解读 Python 3.14：模板字符串、惰性类型、Zstd压缩等7大核心功能升级
4、原生支持 Zstandard (PEP 784)：Python 3.14 拥抱更高效的 Zstd 压缩算法 Python 3.14在标准库中集成了对Zstandard (zstd)压缩算法的原生支持 提供可配置的压缩级别，适应不同性能与压缩率需求 特别适用于数据处理管道、API响应压缩和持久化缓存等场景 importzstandardaszstd Facebook、Dropbox等大型技术公司已在生产环境中采用Zstandard
51010编辑于 2025-08-20 - 来自专栏kafka专栏
Kafka1.1.x到2.5.x的升级点
2.0.x的显著变化 2.1.x的显著变化 unclean.leader.election.enable 支持动态更新配置,以启用脏选举 新增一个新的压缩方式 ：Zstandard 压缩(zstd),您必须升级代理和客户端才能使用它
38830编辑于 2022-06-02 - 来自专栏信安百科
CVE-2024-11477｜7-Zip代码执行漏洞（POC）
0x01 漏洞描述 具体的缺陷存在于Zstandard解压的实现中。该问题是由于对用户提供的数据缺乏适当的验证造成的，这可能会导致在写入内存之前出现整数下溢。
42510编辑于 2025-07-30 HBase扩展场景与最佳实践：时序数据优化之OpenTSDB底层存储机制深度解析
OpenTSDB通过集成多种压缩算法，如GZIP、Snappy和Zstandard（ZSTD），在数据写入HBase前或存储过程中进行压缩处理，从而显著减少磁盘占用和网络传输负载。 压缩算法的选择与比较 OpenTSDB支持多种压缩算法，其中GZIP、Snappy和Zstandard是最常用的三种。 近年来，Zstandard（ZSTD）算法因其优异的性能平衡而受到广泛关注。 值得注意的是，2025年以来，随着云原生技术普及和硬件成本优化，越来越多团队开始采用Zstandard压缩算法。 实际测试表明，Zstandard在维持与Snappy相近压缩速度的前提下，压缩比提升15-20%，为超大规模时序数据存储提供新的优化方向。
43010编辑于 2025-08-27- 来自专栏GitHub专栏
速度快，性能好！压缩神器 zstd
工具介绍 主要介绍 zstd 工具的作用和性能测试 我们称 Zstandard 或 Zstd 是一种快速的无损压缩算法，是针对 zlib 级别的实时压缩方案，以及更好的压缩比。 训练 Zstandard 是通过提供一些样本(每个样本一个文件)来实现的，训练的结果存储在称为“字典”的文件中，该文件必须在压缩和解压缩之前加载。使用此字典，可以在小数据上实现的压缩率大大提高。
9.2K40发布于 2021-03-09 - 来自专栏CU技术社区
速度大提升，Arch Linux 计划将 zstd 作为默认压缩算法
新的想法是使用 Facebook 的 zstd 算法，zstd 又叫 Zstandard，它是一种快速无损压缩算法，主要应用于 zlib 级别的实时压缩场景，并且具有更好的压缩比。
1.3K20发布于 2019-10-25 - 来自专栏大数据解决方案
保姆级Kafka 降本实用指南
但自从KIP-110被合并进 Kafka，并添加了用于 Zstandard 压缩的压缩器后，它已实现了显著的性能改进，并且是降低网络成本的完美方式。 Zstandard 是 Facebook 的压缩算法；与其他压缩算法相比，它旨在实现更小、更快的数据压缩。 例如，使用 zstd（Zstandard）后，Shopify 获得了 4.28 倍的压缩率。 Amplitude 在他们的帖子中介绍，在切换到 Zstandard 后，他们的带宽使用量减少了三分之二，仅在处理管道上就可以节省每月数万美元的数据传输成本。 毕竟你还要支付数据传输费用，记得吗？
66330发布于 2021-08-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号