Rust和Gzipped文件

Question

我是Python和Golang开发人员，最近开始学习Rust。我当前的项目涉及处理数百个gzipped日志文件，每个文件包含数十万个JSON条目，每行一个JSON条目。我最初的尝试速度之慢令人惊讶。在研究这一点时，我注意到，即使在发布模式下编译，Python3的执行速度也要比Rust实现快得多。我做错了什么吗？

下面是我的Rust实现：

use std::io::{BufRead, BufReader};
use std::fs::File;
use libflate::gzip::Decoder;

fn main() {
    let path = "/path/to/input.json.gz";
    process_file(path);
}

fn process_file(path: &str) {
    let x = BufReader::new(Decoder::new(File::open(path).unwrap()).unwrap())
        .lines()
        .count();

    println!("Found {} events", x);
}

下面是做同样事情的快得多的Python代码：

import gzip

def main():
    path = "/path/to/input.json.gz";
    process_file(path)

def process_file(path):
    with gzip.open(path) as fp:
        count = 0
        for _ in fp:
            count += 1
    print(f"Found {count} events")

感谢您的阅读并走到了这一步。

Answer 1

为了获得最佳性能，请尝试将flate2机箱与zlib-ng后端一起使用。