首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从大型txt.gz文件中选择/复制包含字符串的行的最快方法

问从大型txt.gz文件中选择/复制包含字符串的行的最快方法
EN

Stack Overflow用户
提问于 2018-06-18 18:57:51
回答 2查看 218关注 0票数 3

因此,我有以下sed一行:

代码语言:javascript
复制
sed -e '/^S|/d' -e '/^T|/d' -e '/^#D=/d' -e '/^##/d' -e 's/H|/,H|/g' -e 's/Q|/,,Q|/g' -e '1 i\,,,' sample_1.txt > sample_2.txt

我有很多行的开头,要么:

  • S|
  • T|
  • #D=
  • ##
  • H|
  • Q|

这样做的目的是不复制以第4行之一开头的行,并将H| (行的开头)替换为,H|,将Q| (行的开头)替换为,,Q|。

但现在我需要:

  • 使用最快的方法(internet表示awk比sed快)
  • 从.txt.gz文件中读取并将结果保存在.txt.gz文件中,如果可能的话,避免中间的un/re。

事实上,有几百个.txt.gz文件,每个大约1GB,都是以这种方式处理的(都在同一个文件夹中)。是否有一种CLI方法可以在所有这些文件上并行运行代码(因此每个核心都将得到目录中文件的子集)?

-我用linux --ubuntu

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2018-06-19 08:53:43

未经测试,但很可能与GNU并行非常接近。

首先,使输出目录不覆盖任何有价值的数据:

代码语言:javascript
复制
mkdir -p output

现在,声明一个执行一个文件并将其导出到子进程的函数,这样由GNU并行启动的作业就可以找到它:

代码语言:javascript
复制
doit(){
    echo Processing $1
    gzcat "$1" | awk '
        /^[ST]\|/ || /^#D=/ || /^##/ {next}    # ignore lines starting S|, T| etc
        /^H\|/ {print ","}                     # prefix "H|" with ","
        /^Q\|/ {print ",,"}                    # prefix "Q|" with ",,"
        1                                      # print all other lines
    ' | gzip > output/"$1"
}
export -f doit

现在并行处理所有txt.gz文件并显示进度栏:

代码语言:javascript
复制
parallel --bar doit ::: *txt.gz
票数 2
EN

Stack Overflow用户

发布于 2018-06-19 03:11:53

就像你想的那样吗?

代码语言:javascript
复制
#!/bin/bash

export LC_ALL=C

zcat sample_1.txt.gz | gawk '
$1 !~ /^([ST]\||#D=|##)/ {
    switch ($0) {
        case /^H\|/:
            print "," $0
            break
        case /^Q\|/:
            print ",," $0
            break
        default:
            print $0
    }
}' | gzip > sample_2.txt.gz

export LC_ALL=C告诉您的环境您不需要扩展字符,并且可以大大加快执行速度。zcat展开gz文件并将其转储到stdout。这是管道到gawk,检查每一行的第一部分不匹配您在问题中的前四个字符分组。对于通过测试的行,输出到stdout (根据请求进行按摩)。当gawk执行时,它的stdout将被管道传输到gzip中,并写入.txt.gz文件。

使用xargs与-P和-n交换机并行处理是可能的,但我认为parallel可能更容易使用。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/50915850

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档