如何解决zstandard中使用的帧相关的错误，这需要太多的内存来解码。

Question

要下载与问答相关的数据，我将按照facebook/ELI5 5上的脚本操作。

在这里，它说要运行命令：python download_reddit_qalist.py -Q。在运行此命令时，我在python文件'download_reddit_qalist.py‘中的第70行上得到一个错误，其中枚举了zstandardDecompressor对象。错误日志显示：

zstd.ZstdError: Zstd解压缩错误:帧需要太多内存才能解码

考虑到内存问题，我将32 gb内存与8个CPU一起分配给容器。但错误依然存在。

当我用ElementTree.iterparse()替换枚举函数时，随着此错误，另一条消息加在一起：

对于i，l在ET.iterparse(f)：ET.iterparse第1229行中，在迭代器数据= source.read(100 * 2048) zstd.ZstdError: zstd解压缩错误:帧需要太多内存才能解码

有人面临类似的错误吗？我在slurm集群上运行了码头容器。如果你需要更多的信息，请告诉我。

Answer 1

zstdDecompressor(max_window_size=2147483648)

将来，如果有人面临这个错误，那么上面就是纠正它的方法。

在download_reddit_qalist.py文件中，在第66行中，可以更改。