wc -l的性能

Question

我运行了以下命令：

time for i in {1..100}; do find / -name "*.service" | wc -l; done

得到了100行结果：

real 0m35.466 s用户0m15.688 s系统0m14.552 s

然后运行以下命令：

time for i in {1..100}; do find / -name "*.service" | awk 'END{print NR}'; done

得到了100行结果：

real 0m35.036s用户0m15.848ssys 0m14.056s

我准确地说，我之前已经运行过find / -name "*.service"，所以这两个命令都被缓存了。

我原以为wc -l会更快。为什么不呢？

Answer 1

有三件事：

1. 如此微小的差别通常并不显著： 0m35.466s - 0m35.036s = 0m0.43s或1.2%
2. 然而，wc -l比awk 'END{print NR}'.% time seq 100000000 \ awk 'END{print NR}‘> /dev/null real 0m13.624s用户0m14.656 s sys 0m1.047s % time seq 100000000区wc -l >/dev/空实0m1.604s用户0m2.413s系统0m0.623s快(10倍)。
3. 我的猜测是，硬盘缓存保存了find结果，所以在第一次使用wc -l运行之后，find所需的大部分读取都在缓存中。假设初始find与第二个具有缓存读取的find之间的时间差异将大于awk和wc之间的运行时间差异。 测试这一点的一种方法是重新启动，这将清除硬盘缓存，然后再次运行这两个测试，但顺序相反，以便首先运行awk。我预计第一次运行的awk将比第一次运行的wc还要慢，第二次运行的wc将比第二次运行的awk更快。

Answer 2

其他人提到，您可能在计时find，而不是wc或awk。尽管如此，wc和awk在其不同的风格上可能有一些有趣的差异。

以下是我得到的结果：

Mac OS 10.10.5 awk    0.16m lines/second
GNU awk/gawk 4.1.4    4.4m  lines/second
Mac OS 10.10.5 wc     6.8m  lines/second
GNU wc 8.27          11m    lines/second

我没有使用find，而是在循环中的大文本文件(66k行)上使用了wc -l或‘`awk 'END{print }。

我改变了命令的顺序，没有发现任何偏差足以改变我报告的排名。

LC_CTYPE=C对其中任何一项都没有明显的影响。

结论

1. 除了少量的数据外，不要使用mac内置命令行工具。
2. 在计数线上，GNU wc比GNU awk快。

我使用MacPorts GNU二进制文件。这将是有趣的，看看国产双生子如何比较。(我猜他们会输。)