这里有一个普遍的问题&＃xff1a;你曾经想要统计一个非常大的列表(上百兆)&＃xff0c;或者检索文本信息&＃xff0c;又或者一些其他无法并行运行的操作。你的CPU可能有4个核心或者更多&＃xff0c;但是我们使用的工具却是像grep、bzip2、wc、awk、sed等命令&＃xff0c;这些都只使用单线程和单个CPU核心。
借用卡通人物Cartman的话&＃xff0c;“我该如何才能使用这些内核”?
这就需要通过使用GNU Parallel&＃xff0c;来使用所有的CPU核心。它让我们所有的CPU核心做map-reduce的神奇操作&＃xff0c;而且这还要借助很少用到的-pipes参数(也叫做-spreadstdin)。我保证这样你的负载就会均衡地分配到所有核心上。
bzip2
bzip2比gzip有更好的压缩效果&＃xff0c;但它太慢了。放弃折腾吧&＃xff0c;我们现在有技术解决这个问题。取代这种使用办法&＃xff1a;
cat bigfile.bin | bzip2 --best > compressedfile.bz2 而改为
cat bigfile.bin | parallel --pipe --recend &＃39;&＃39; -k bzip2 --best > compressedfile.bz2
特别对于bzip2命令&＃xff0c;GNU Parallel在多核CPU上显著地快于单核。你一不留神&＃xff0c;它就执行完成了。
GREP
如果你有一个超大的文本文件需要被检索&＃xff0c;那么就不应该这样使用&＃xff1a;
grep pattern bigfile.txt 而是
cat bigfile.txt | parallel --pipe grep &＃39;pattern&＃39;
抑或是
cat bigfile.txt | parallel --block 10M --pipe grep &＃39;pattern&＃39;
第二条命令使用了--block 10M参数&＃xff0c;通过这个参数可以表示你希望每个CPU核心处理多少行数据。 AWK
这里有一个如何使用awk来计算一个非常大的文件的例子&＃xff0c;原来我们使用&＃xff1a;
cat rands20M.txt | awk &＃39;{s&＃43;&＃61;$1} END {print s}&＃39;
而现在&＃xff1a;
cat rands20M.txt | parallel --pipe awk \&＃39;{s&＃43;&＃61;\$1} END {print s}\&＃39; | awk &＃39;{s&＃43;&＃61;$1} END {print s}&＃39;
这里面用到了更多的东西。在parallel中的-pipe参数将cat的输出分成多个块传递给awk&＃xff0c;形成许多子操作计算&＃xff0c;这些子计算结果通过第二个管道传给同一个的awk&＃xff0c;然后给出最终结果。第一个awk有三个反斜线&＃xff0c;这是为了GNU Parallel调用awk的需要。 WC
想要使用超级并行来计算一个文件的行数吗&＃xff1f;那么就不要再这样使用了&＃xff1a;
wc -l bigfile.txt 而是&＃xff1a;
cat bigfile.txt | parallel --pipe wc -l | awk &＃39;{s&＃43;&＃61;$1} END {print s}&＃39;
这是一种相当巧妙的方法&＃xff1a;我们先映射出大量的wc -l的调用&＃xff0c;生成子运算&＃xff0c;然后通过第二个管道传给awk&＃xff0c;把它们加起来。 SED
想要使用sed在一个极大的文件中做大量替换么&＃xff1f;那么就不应该这样使用&＃xff1a;
sed s^old^new^g bigfile.txt
而是
cat bigfile.txt | parallel --pipe sed s^old^new^g
... ... 然后可以使用pipe把输出存储到指定的文件中。
原文地址&＃xff1a;http://www.rankfocus.com/use-cpu-cores-linux-commands/
京公网安备 11010802041100号