首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何使用多线程在python中解压多个gz文件?

问如何使用多线程在python中解压多个gz文件?
EN

Stack Overflow用户
提问于 2015-12-24 18:51:56
回答 2查看 3.4K关注 0票数 9

我有多个gz文件,总大小约为120 gz。我想将这些文件解压(Gzip)到相同的目录中,并删除现有的gz文件。目前我们正在手动进行解压,使用gzip -d <filename>解压需要更多时间。

有没有办法可以通过创建python脚本或任何其他技术来并行解压缩这些文件。目前,这些文件位于Linux机器上。

EN

回答 2

Stack Overflow用户

发布于 2015-12-24 19:21:46

使用multiprocessing Pools可以很容易地做到这一点

代码语言:javascript
复制
import gzip
import multiprocessing
import shutil

filenames = [
    'a.gz',
    'b.gz',
    'c.gz',
    ...
]

def uncompress(path):
    with gzip.open(path, 'rb') as src, open(path.rstrip('.gz'), 'wb') as dest:
        shutil.copyfileobj(src, dest)

with multiprocessing.Pool() as pool:
    for _ in pool.imap_unordered(uncompress, filenames, chunksize=1):
        pass

这段代码将产生几个进程,每个进程一次提取一个文件。

在这里,我选择了chunksize=1,以避免在某些文件大于平均值时导致进程停滞。

票数 10
EN

Stack Overflow用户

发布于 2015-12-24 19:17:49

使用gunzip或gzip -d解压文件所花费的大部分时间来自I/O操作(读取和写入磁盘)。它甚至可能比实际解压数据所花费的时间还要长。您可以通过在后台运行多个gzip作业来利用这一点。由于一些作业在I/O上被阻塞,因此实际上可以运行另一个作业,而不必在队列中等待。

您可以通过在后台运行多个gunzip进程来加快整个文件集的解压缩速度。每个服务于一组特定的文件。

你可以在BASH中做一些简单的东西。将文件列表拆分为单独的命令,并使用&将其作为后台作业启动。然后对每个作业执行wait以完成。

我建议你一次有2到2*N个工作。其中N是计算机上的核心或逻辑处理器的数量。根据需要进行实验,以获得正确的数字。

你可以在BASH中轻松地做点什么。

代码语言:javascript
复制
#!/bin/bash

argarray=( "$@" )
len=${#argarray[@]}

#declare 4 empty array sets
set1=()
set2=()
set3=()
set4=()

# enumerate over each argument passed to the script
# and round robin add it to one of the above arrays

i=0
while [ $i -lt $len ]
do

    if [ $i -lt $len ]; then
        set1+=( "${argarray[$i]}" )
        ((i++))
    fi

    if [ $i -lt $len ]; then
        set2+=( "${argarray[$i]}" )
        ((i++))
    fi

    if [ $i -lt $len ]; then
        set3+=( "${argarray[$i]}" )
        ((i++))
    fi

    if [ $i -lt $len ]; then
        set4+=( "${argarray[$i]}" )
        ((i++))
    fi
done

# for each array, start a background job
gzip -d ${set1[@]} &
gzip -d ${set2[@]} &
gzip -d ${set3[@]} &
gzip -d ${set4[@]} &

# wait for all jobs to finish    
wait

在上面的示例中,我为每个作业选择了4个文件,并启动了两个单独的作业。您可以轻松地扩展该脚本,使其具有更多作业,每个进程有更多文件,并将文件名作为命令行参数。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/34451612

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档