我正在运行一台32核机器,我希望并行化一个非常简单的操作。给定这样的ip_addresses.txt文件:
1.2.3.4
8.8.8.8
120.120.120.120我想使用一个名为script.sh的脚本来解析这些IP,该脚本将IP解析为各自的ISP。它被赋予一个IP,并输出以下内容,例如,当给定1.2.3.4时,这是很好的:
echo 1.2.3.4 | ./script.sh
1.2.3.4|Googleip_addresses.txt包含数百万个唯一的IP,我正在考虑并行化对脚本的调用。所以我试了一下:
cat ip_addresses.txt | parallel ./script.sh但没有产出。我希望有:
1.2.3.4|Google
120.120.120.120|Taiwan Academic Network这样我就可以将它们重定向到文件中。
我的脚本如下:
#!/bin/bash
while read ip
do
ret=$(/home/sco/twdir/product/trunk/ext/libmaxminddb-1.0.3/bin/mmdblookup --file /home/sco/twdir/product/trunk/ext/libmaxminddb-1.0.3/GeoIP2-ISP.mmdb --ip $ip isp 2>/dev/null | grep -v '^$' | grep -v '^ Could not find' | cut -d "\"" -f 2)
[[ $ret != "" ]] && echo -n "$ip|" && echo $ret;
done我错过了什么?虽然我查看了教程,但我无法解决这个问题。
发布于 2015-07-13 13:21:33
引用自并行手册页。
对于每一行输入,GNU并行将以行作为参数执行命令。
输入中的每一行都是脚本的命令行参数,而不是标准输入。就像这样:
./script.sh 1.2.3.4您应该重写脚本,以便从变量$1读取参数。
#!/bin/bash
ip=$1
ret=$(/home/sco/twdir/product/trunk/ext/libmaxminddb-1.0.3/bin/mmdblookup --file /home/sco/twdir/product/trunk/ext/libmaxminddb-1.0.3/GeoIP2-ISP.mmdb --ip $ip isp 2>/dev/null | grep -v '^$' | grep -v '^ Could not find' | cut -d "\"" -f 2)
[[ $ret != "" ]] && echo -n "$ip|" && echo $ret;或者您可以使用并行的--pipe选项。
$ cat ip_addresses.txt | parallel --pipe --block-size 10 ./script.sh发布于 2015-07-13 14:26:34
您的脚本从标准输入(STDIN)中读取多行。GNU并行默认将参数放在命令行上。为了使GNU并行,输入STDIN使用--管道。
cat ip_addresses.txt | parallel --pipe ./script.sh这将在每个核心运行一个作业,并传递每个作业1MB的数据。但是查找地址并不是很难,所以每个CPU可能运行10个作业(1000%):
cat ip_addresses.txt | parallel -j 1000% --pipe ./script.sh这可能会达到文件句柄的限制,因此:
cat ip_addresses.txt |\
parallel --pipe --block 50m --round-robin -j100 parallel --pipe -j50 ./script.sh这将并行运行100*50 =5000个作业。
如果您不希望在获得任何输出之前等待完整的1MB被处理,则可以将其降低到1k:
cat ip_addresses.txt | parallel -j 1000% --pipe --block-size 1k ./script.sh
cat ip_addresses.txt |\
parallel --pipe --block 50k --round-robin -j100 parallel --pipe --block 1k -j50 ./script.shhttps://stackoverflow.com/questions/31381387
复制相似问题