如何使用LZ4编写python函数来压缩CSV文件

Question

新手来了..。我需要使用LZ4读取和压缩CSV文件，我遇到了预期的错误，compress()函数以字节为单位读取，CSV文件不兼容。有没有办法使用LZ4压缩整个文件，或者我需要将CSV文件转换为位格式，然后再进行压缩？如果是这样，我该如何处理呢？

import lz4.frame
import csv

file=open("raw_data_files/raw_1.csv")
type(file)
input_data=csv.reader(file)
compressed=lz4.frame.compress(input_data)

错误显示

Traceback (most recent call last):
  File "compression.py", line 10, in <module>
    compressed=lz4.frame.compress(input_data)
TypeError: a bytes-like object is required, not '_csv.reader'

Answer 1

你可以这样做：

import lz4.frame

with open('raw_data_files/raw_1.csv', 'rb') as infile:
    with open('raw_data_files/raw_1.lz4', 'wb') as outfile:
        outfile.write(lz4.frame.compress(infile.read()))