首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >将stdin扩展到并行过程

问将stdin扩展到并行过程
EN

Unix & Linux用户
提问于 2012-10-09 20:46:10
回答 6查看 3.5K关注 0票数 14

我有一个任务,处理stdin上的文件列表。该程序的启动时间很长,每个文件所需的时间差异很大。我想产生大量这样的过程,然后把工作分派给那些不忙的。有几种不同的命令行工具几乎可以实现我想做的事情,我已经将其缩小到了两个几乎可以工作的选项:

代码语言:javascript
复制
find . -type f | split -n r/24 -u --filter="myjob"
find . -type f | parallel --pipe -u -l 1 myjob

问题是,split只执行一个循环,因此其中一个进程落后,延迟了整个操作的完成;而parallel希望在每N行或每字节的输入中生成一个进程,而我最终却花费了太多的时间在启动开销上。

是否有这样的东西可以重复使用进程和提要行给任何进程解除阻塞的stdin?

EN

回答 6

Unix & Linux用户

发布于 2012-10-10 14:18:54

对于GNU并行,可以使用-块设置块大小。但是,它确实需要有足够的内存来为每个正在运行的进程保留一个块。

我知道这并不是你想要的,但这可能是一个可以接受的工作--目前为止。

如果您的任务平均占用相同的时间,那么您可能可以使用mbuffer:

代码语言:javascript
复制
find . -type f | split -n r/24 -u --filter="mbuffer -m 2G | myjob"
票数 1
EN

Unix & Linux用户

发布于 2013-03-26 17:36:06

在这样的一般情况下,这是不可能的。这意味着每个进程都有一个缓冲区,您可以从外部查看缓冲区,以决定将下一个条目放在哪里(调度).当然,您可以编写一些东西(或者使用像slurm这样的批处理系统)。

但是,取决于进程是什么,您可能能够预处理输入。例如,如果您想下载文件、更新DB或类似的条目,但其中50%的条目将被跳过(因此,根据输入的不同,您有很大的处理差异),那么,只需设置一个预处理器来验证哪些条目将花费很长的时间(文件存在,数据被更改等),因此从另一方得到的任何信息都保证占用相当长的时间。即使启发式不是十全十美的,你可能最终也会有相当大的进步。之后,您可以以相同的方式将其他文件和进程转储到文件和进程中。

但这取决于您的用例。

票数 1
EN

Unix & Linux用户

发布于 2013-10-21 23:16:27

不,没有通用的解决方案。您的分配器需要知道每个程序何时准备好读取另一行,而且我所知道的标准中没有允许这样做的标准。您所能做的就是在STDOUT上放置一行,等待使用它的东西;管道上的生产者没有一个真正好的方法来判断下一个消费者是否准备好了。

票数 1
EN
页面原文内容由Unix & Linux提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://unix.stackexchange.com/questions/50399

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档