我有一个由数百个目录组成的数值模拟结果;每个目录包含数百万个文本文件。
我需要将字符串"wavelength;“替换为"wavelength_bc;”,因此我尝试了以下两种方法:
find . -type f -exec sed -i 's/wavelength;/wavelength_bc;/g' {} \;和
find . -type f -exec sed -i 's/wavelength;/wavelength_bc;/g' {} +不幸的是,上面的命令需要很长时间才能完成(超过1小时)。
我想知道如何利用我的机器(8)上的核数来加速上面的命令?
我正在考虑使用带有xargs标志的-P。我害怕这会破坏文件,所以我不知道这是否安全?
总结如下:
sed一起使用时加速find替换xargs -P并行运行它是安全的吗?谢谢
发布于 2021-10-16 14:09:40
xargs -P应该是安全的,但是您需要使用find的-print0选项和管道到xargs -0来使用空格或通配符来处理文件名:
find . -type f -print0 |
xargs -0 -I {} -P 0 sed -i 's/wavelength;/wavelength_bc;/g' {}-P 0选项在xargs中将以并行模式运行。它将为您的CPU运行尽可能多的进程。
https://stackoverflow.com/questions/69596279
复制相似问题