编程小技巧之 Linux 文本处理命令
点击上方” 程序员历小冰 “，选择“置顶或者星标”
你的关注意义重大!
合格的程序员都善于使用工具，正所谓君子性非异也，善假于物也。合理的利用 Linux 的命令行工具，可以提高我们的工作效率。
本文简单的介绍三个能使用 Linux 文本处理命令的场景，给大家开阔一下思路。希望大家阅读完这篇文章之后，要多加实践，将这些技巧内化到自己的日常工作习惯中，真正的提高效率。内化很重要，就像开玩笑所说的一样，即使我知道高内聚，低耦合的要求，了解 23 种设计模式和 6 大原则，熟读代码整洁之道，却仍然写不出优秀的代码。知道和内化到行为中区别还是很大的。
能不能让正确的原则指导正确的行动本身，其实就是区分是否是高手的一个显著标志。
程序员日常工作中往往要处理一些数据和文本，比如说统计一些服务日志文件信息，根据数据库数据生成一些处理数据的SQL和搜索文件内容等。可以直接通过编写代码处理，但不够便捷，因为有时候线上相关的代码环境依赖不一定具备。而直接使用 Linux 的文本处理命令可以很方便地处理这些问题。
日志文件处理数据
在工作中，我们往往需要对一些具有固定格式的文件进行信息统计，比如说根据 nginx 的 access.log 文件数据，计算出每个后端 API 接口的调用次数，并且排序。
nginx 的 access.log 文件文件格式配置如下所示，每个字段之间通过空格分隔开来。
上述配置中字段含义如下：
-
$remote_addr : 发送请求的源地址
-
$remote_user : 发送请求的用户信息
-
$time_local : 接收请求的本地时间
-
$request : 请求信息，比如说 http 的 method 和 路径。
-
$status : 请求状态，比如说 200、401或者 500。
-
$body bytes sent : 请求 body 字节数。
-
$http_referer : 域名。
-
$http user agent : 用户端 agent 信息，一般就是浏览器信息
-
$http x forwarded_for : 其他信息。
具体的一段 access.log 内容如下所示。
那么，我们可以通过下面命令来统计所有接口调用的次数，并且从大到小排序显示。
这条命令涉及了 cat、awk、sort ， uniq 四个命令行工具和 | 连接符的含义，我们依次简单讲解一下它们的使用，感兴趣的同学可以自行去全面了解学习。
cat 命令是将文件内容打印到标准输出设备上，可以是终端，也可以是其他文件。比如说：
| 符号是管道操作符，它将的一个命令的 stdout 指向第二个命令的 stdin。在这条命令中 | 符号将 cat 命令的输出指向到 awk 命令的输入中。
awk 是贝尔实验室 1977 年搞出来的文本流处理工具，用于对具有固定格式的文件进行流处理。比如说 nginx 的 access.log 文件，它各个字段之间通过空格分隔开来，awk 就很适合处理此类文件。
'{print $7}' 就是 awk 的指令声明，表示打印出变量 $7 ， $7 则是 awk 内置的变量，代表按照分隔符分隔开来的第七个文本内容。对于 access.log 文件来说就是 $request 代表的路径相关的内容。 $request 的全部内容是 POST/publish/pending/list HTTP/2.0 ， $6 对应 POST ，而 $7 对应的就是 /publish/pending/list 。
但是有些时候我们发现文本内容并不是按照空格进行分隔的，比如说 $request 内容可能为 /publish/search_inner?key=test ，虽然是相同的 path，但是 query 不同，我们统计接口调用量时需要将 query 部分过滤掉。我们可以使用 awk 的 -F 指令指定分隔符。
sort 是专门用于排序的命令，它有多个参数：
-
-n 按数值进行排序，默认是按照字符值排序，按照数值比较 10 > 2 但是按照字符值排序，2 >10 ，因为字符值会先比较首位，也就是 2 > 1。
-
-r 默认是升序排列，这个参数指定按照逆序排列。
-
-k N 指定按第N列排序，默认是第一个值
最后一个命令是 uniq，它用于消除重复行，或者统计。
比如说 cat/var/log/nginx/access.log|awk'{print $7}'|awk-F'?''{print $1}'|sort|uniq-c 命令的输出如下所示，正好作为 sort-nr 的输入。
利用这些指令，我们可以通过 access.log 统计很多信息，比如下列这些信息( access.log 的信息配置不同，不可以直接照搬 )。
数据库SQL
在业务迭代过程中，有些数据库数据可能需要使用脚本去修改，这是我们可以要根据一些数据生成对应的 SQL 命令，这里我们可以使用命令行工具快速生成。比如说我们要将一系列订单状态有问题，需要将其恢复成正常的状态。你现在已经收集到了这批订单的信息。
那么你可以使用如下命令直接生成对应的 SQL 语句。
这里 '' 中都是 awk 的命令内容，而 "" 中是打印的纯文本，所以我们可以将需要补充的 SQL 命令打印出来。
代码信息统计
在大公司中，各个团队往往会公开出自己的接口给兄弟团队调用，但是随着版本地快速迭代，公开的接口越来越多，想要关闭掉又往往不清楚上游调用方是哪个部门的，轻易不敢关闭或者修改。这时，如果你能访问整个公司的代码库，就可以通过下面的脚本搜索一下项目中是否出现该接口相关的关键词。
笔者公司团队中微服务间通过 FeignClient 相互调用，所以对于这种情况，可以直接将搜索出对应 FeignClient 的函数名出现的文件名称。
下面是一段在多个项目中统计某些关键词出现次数，并打印出文件名的 bash 脚本。
我们只看一下最关键的 find 命令，其他的命令比如 tr 或者 sed，大家可以自行了解学习。
find 用于查找文件，可以按照文件名称、文件操作权限、文件属主、文件访问时间等条件来查找。
xargs 命令能够将输入数据转化为特定命令的命令行参数，比如说多行变一行等，串联多个命令行，比如说上边 find 和 rm。
最后一个命令时 grep，它是文本搜索命令，它可以搜索文本内容的关键词。
现在大家在回头看一下这段 bash 脚本，是不是大致了解它执行的过程和原理啦。
后记
本文简单介绍了程序员日常工作中可能用到 Linux 命令的三个场景。大家可以根据自己的实际情况，来判断是否需要继续全面详细地学习相关的知识。毕竟只有能运用于实践，给自己工作产生价值的技术才是真技术。学习一项技术，就要坚持学以致用的目的。
-关注我
推荐阅读
About The Author
