bdbd

如何利⽤多核CPU来加速你的Linux命令（GNUParallel）

你是否曾经有过要计算⼀个⾮常⼤的数据(⼏百GB)的需求？或在⾥⾯搜索，或其它操作——⼀些⽆法并⾏的操作。数据专家

们，我是在对你们说。你可能有⼀个4核或更多核的CPU，但我们合适的⼯具，例如grep,bzip2,wc,awk,d等等，都是单

线程的，只能使⽤⼀个CPU内核。

借⽤卡通⼈物Cartman的话，“如何我能使⽤这些内核”?

要想让Linux命令使⽤所有的CPU内核，我们需要⽤到GNUParallel命令，它让我们所有的CPU内核在单机内做神奇的map-

reduce操作，当然，这还要借助很少⽤到的–pipes参数(也叫做–spreadstdin)。这样，你的负载就会平均分配到各CPU上，真

的。

BZIP2

bzip2是⽐gzip更好的压缩⼯具，但它很慢！别折腾了，我们有办法解决这问题。

以前的做法：

|bzip2--best>2

现在这样：

|parallel--pipe--recend''-kbzip2--best>2

尤其是针对bzip2，GNUparallel在多核CPU上是超级的快。你⼀不留神，它就执⾏完成了。

GREP

如果你有⼀个⾮常⼤的⽂本⽂件，以前你可能会这样：

现在你可以这样：

|parallel--pipegrep'pattern'

或者这样：

|parallel--block10M--pipegrep'pattern'

这第⼆种⽤法使⽤了–block10M参数，这是说每个内核处理1千万⾏——你可以⽤这个参数来调整每个CUP内核处理多少⾏

数据。

AWK

下⾯是⼀个⽤awk命令计算⼀个⾮常⼤的数据⽂件的例⼦。

常规⽤法：

|awk'{s+=$1}END{prints}'

现在这样：

|parallel--pipeawk'{s+=$1}END{prints}'|awk'{s+=$1}END{prints}'

这个有点复杂：parallel命令中的–pipe参数将cat输出分成多个块分派给awk调⽤，形成了很多⼦计算操作。这些⼦计算经过第

⼆个管道进⼊了同⼀个awk命令，从⽽输出最终结果。第⼀个awk有三个反斜杠，这是GNUparallel调⽤awk的需要。

WC

想要最快的速度计算⼀个⽂件的⾏数吗？

传统做法：

现在你应该这样：

|parallel--pipewc-l|awk'{s+=$1}END{prints}'

⾮常的巧妙，先使⽤parallel命令‘mapping'出⼤量的wc-l调⽤，形成⼦计算，最后通过管道发送给awk进⾏汇总。

SED

想在⼀个巨⼤的⽂件⾥使⽤d命令做⼤量的替换操作吗？

常规做法：

ds^old^new^

现在你可以：

|parallel--pipeds^old^new^g

…然后你可以使⽤管道把输出存储到指定的⽂件⾥。

以上就是本⽂的全部内容，希望对⼤家的学习有所帮助，也希望⼤家多多⽀持。