因此,我有以下sed一行:
sed -e '/^S|/d' -e '/^T|/d' -e '/^#D=/d' -e '/^##/d' -e 's/H|/,H|/g' -e 's/Q|/,,Q|/g' -e '1 i\,,,' sample_1.txt > sample_2.txt我有很多行的开头,要么:
S|T|#D=##H|Q|这样做的目的是不复制以第4行之一开头的行,并将H| (行的开头)替换为,H|,将Q| (行的开头)替换为,,Q|。
但现在我需要:
事实上,有几百个.txt.gz文件,每个大约1GB,都是以这种方式处理的(都在同一个文件夹中)。是否有一种CLI方法可以在所有这些文件上并行运行代码(因此每个核心都将得到目录中文件的子集)?
-我用linux --ubuntu
发布于 2018-06-19 08:53:43
未经测试,但很可能与GNU并行非常接近。
首先,使输出目录不覆盖任何有价值的数据:
mkdir -p output现在,声明一个执行一个文件并将其导出到子进程的函数,这样由GNU并行启动的作业就可以找到它:
doit(){
echo Processing $1
gzcat "$1" | awk '
/^[ST]\|/ || /^#D=/ || /^##/ {next} # ignore lines starting S|, T| etc
/^H\|/ {print ","} # prefix "H|" with ","
/^Q\|/ {print ",,"} # prefix "Q|" with ",,"
1 # print all other lines
' | gzip > output/"$1"
}
export -f doit现在并行处理所有txt.gz文件并显示进度栏:
parallel --bar doit ::: *txt.gz发布于 2018-06-19 03:11:53
就像你想的那样吗?
#!/bin/bash
export LC_ALL=C
zcat sample_1.txt.gz | gawk '
$1 !~ /^([ST]\||#D=|##)/ {
switch ($0) {
case /^H\|/:
print "," $0
break
case /^Q\|/:
print ",," $0
break
default:
print $0
}
}' | gzip > sample_2.txt.gzexport LC_ALL=C告诉您的环境您不需要扩展字符,并且可以大大加快执行速度。zcat展开gz文件并将其转储到stdout。这是管道到gawk,检查每一行的第一部分不匹配您在问题中的前四个字符分组。对于通过测试的行,输出到stdout (根据请求进行按摩)。当gawk执行时,它的stdout将被管道传输到gzip中,并写入.txt.gz文件。
使用xargs与-P和-n交换机并行处理是可能的,但我认为parallel可能更容易使用。
https://stackoverflow.com/questions/50915850
复制相似问题