首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >无法使用GNU并行启动作业

问无法使用GNU并行启动作业
EN

Stack Overflow用户
提问于 2015-07-13 10:49:58
回答 2查看 437关注 0票数 1

我正在运行一台32核机器,我希望并行化一个非常简单的操作。给定这样的ip_addresses.txt文件:

代码语言:javascript
复制
1.2.3.4
8.8.8.8
120.120.120.120

我想使用一个名为script.sh的脚本来解析这些IP,该脚本将IP解析为各自的ISP。它被赋予一个IP,并输出以下内容,例如,当给定1.2.3.4时,这是很好的:

代码语言:javascript
复制
echo 1.2.3.4 | ./script.sh
1.2.3.4|Google

ip_addresses.txt包含数百万个唯一的IP,我正在考虑并行化对脚本的调用。所以我试了一下:

代码语言:javascript
复制
cat ip_addresses.txt | parallel ./script.sh

但没有产出。我希望有:

代码语言:javascript
复制
1.2.3.4|Google
120.120.120.120|Taiwan Academic Network

这样我就可以将它们重定向到文件中。

我的脚本如下:

代码语言:javascript
复制
#!/bin/bash
while read ip
do
  ret=$(/home/sco/twdir/product/trunk/ext/libmaxminddb-1.0.3/bin/mmdblookup --file /home/sco/twdir/product/trunk/ext/libmaxminddb-1.0.3/GeoIP2-ISP.mmdb --ip $ip isp 2>/dev/null |  grep -v '^$' | grep -v '^  Could not find' | cut -d "\"" -f 2)
  [[ $ret != "" ]] &&  echo -n "$ip|" && echo $ret;
done

我错过了什么?虽然我查看了教程,但我无法解决这个问题。

EN

回答 2

Stack Overflow用户

回答已采纳

发布于 2015-07-13 13:21:33

引用自并行手册页。

对于每一行输入,GNU并行将以行作为参数执行命令。

输入中的每一行都是脚本的命令行参数,而不是标准输入。就像这样:

代码语言:javascript
复制
./script.sh 1.2.3.4

您应该重写脚本,以便从变量$1读取参数。

代码语言:javascript
复制
#!/bin/bash
ip=$1
ret=$(/home/sco/twdir/product/trunk/ext/libmaxminddb-1.0.3/bin/mmdblookup --file /home/sco/twdir/product/trunk/ext/libmaxminddb-1.0.3/GeoIP2-ISP.mmdb --ip $ip isp 2>/dev/null |  grep -v '^$' | grep -v '^  Could not find' | cut -d "\"" -f 2)
[[ $ret != "" ]] &&  echo -n "$ip|" && echo $ret;

或者您可以使用并行的--pipe选项。

代码语言:javascript
复制
$ cat ip_addresses.txt | parallel --pipe --block-size 10 ./script.sh
票数 0
EN

Stack Overflow用户

发布于 2015-07-13 14:26:34

您的脚本从标准输入(STDIN)中读取多行。GNU并行默认将参数放在命令行上。为了使GNU并行,输入STDIN使用--管道。

代码语言:javascript
复制
cat ip_addresses.txt | parallel --pipe ./script.sh

这将在每个核心运行一个作业,并传递每个作业1MB的数据。但是查找地址并不是很难,所以每个CPU可能运行10个作业(1000%):

代码语言:javascript
复制
cat ip_addresses.txt | parallel -j 1000% --pipe ./script.sh

这可能会达到文件句柄的限制,因此:

代码语言:javascript
复制
cat ip_addresses.txt |\
  parallel --pipe --block 50m --round-robin -j100 parallel --pipe -j50 ./script.sh

这将并行运行100*50 =5000个作业。

如果您不希望在获得任何输出之前等待完整的1MB被处理,则可以将其降低到1k:

代码语言:javascript
复制
cat ip_addresses.txt | parallel -j 1000% --pipe --block-size 1k ./script.sh

cat ip_addresses.txt |\
  parallel --pipe --block 50k --round-robin -j100 parallel --pipe --block 1k -j50 ./script.sh
票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/31381387

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档