如何在Pandas中读取lz4压缩文件？

Question

我有一个像stackunderflow.csv.lz4这样的文件，我想把它加载到Pandas中进行处理。

我尝试了朴素的pd.read_csv()，但没有成功。伟大的Pandas能处理这些类型的压缩文件吗？

谢谢!

Answer 1

根据this StackOverFlow Answer，您可以使用第三方库以块的形式读取数据，然后将其加载到您的熊猫数据帧中

 `import lz4.frame         chunk_size = 128 * 1024 * 1024         with lz4.frame.open('mybigfile.lz4', 'r') as file:             chunk = file.read(size=chunk_size)`