首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何在GNU与GNU一起使用时加速替换?

问如何在GNU与GNU一起使用时加速替换?
EN

Stack Overflow用户
提问于 2021-10-16 14:00:22
回答 2查看 66关注 0票数 4

我有一个由数百个目录组成的数值模拟结果;每个目录包含数百万个文本文件。

我需要将字符串"wavelength;“替换为"wavelength_bc;”,因此我尝试了以下两种方法:

代码语言:javascript
复制
find . -type f -exec sed -i 's/wavelength;/wavelength_bc;/g' {} \;

和

代码语言:javascript
复制
find . -type f -exec sed -i 's/wavelength;/wavelength_bc;/g' {} +

不幸的是,上面的命令需要很长时间才能完成(超过1小时)。

我想知道如何利用我的机器(8)上的核数来加速上面的命令?

我正在考虑使用带有xargs标志的-P。我害怕这会破坏文件,所以我不知道这是否安全?

总结如下:

  • 如何在与sed一起使用时加速find替换
  • 使用xargs -P并行运行它是安全的吗?

谢谢

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2021-10-16 14:09:40

xargs -P应该是安全的,但是您需要使用find的-print0选项和管道到xargs -0来使用空格或通配符来处理文件名:

代码语言:javascript
复制
find . -type f -print0 |
xargs -0 -I {} -P 0 sed -i 's/wavelength;/wavelength_bc;/g' {}

-P 0选项在xargs中将以并行模式运行。它将为您的CPU运行尽可能多的进程。

票数 5
EN

Stack Overflow用户

发布于 2021-10-16 16:10:03

这可能适用于您(GNU和并行):

代码语言:javascript
复制
find . -type f | parallel -q sed -i 's/wavelength;/wavelength_bc;/g' {}

GNU并行将运行尽可能多的作业,因为机器上有核心并行。

更复杂的用途可能涉及远程服务器和文件传输,请参阅这里和备忘单这里。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/69596279

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档