Linux文本处理三剑客：正则、grep、sed与awk实战指南

你在服务器上排查问题的时候是不是经常拿到一个文件半天不知道怎么下手日志里几千行报错要定位配置文件里几百个参数要改数据文件里几十万行要统计。这时候打开编辑器慢慢找效率低到你怀疑人生。而 Linux 命令行里那套被称作“文本处理三剑客”的组合——正则表达式元字符、grep、sed、awk——恰恰就是把这类脏活累活变成“一行命令秒出结果”的利器。这篇文章就是要把这套能力从头到尾讲清楚正则的语法基础怎么搭grep 怎么精准筛选sed 怎么原地改写awk 怎么做列级统计。适合所有日常要碰 Linux 服务器的开发、运维、数据分析同学看完能直接上手解决实际问题。1. 为什么偏偏是这三个命令思路与定位拆解刚开始接触命令行的时候很多人会有个疑惑处理文本的工具那么多cat、less、cut、sort、uniq、tr……为什么大家独独把 grep、sed、awk 叫成三剑客我的理解是这样这三个命令刚好覆盖了文本处理的三个最基本动作——筛选、编辑、计算。grep 负责从一堆内容里把满足条件的行挑出来它的核心是“查”sed 负责对文本做增删改替换它的核心是“改”awk 是三者里最重量级的它把每一行按列拆开做统计、格式化输出、甚至写点小逻辑核心是“算”。其他的工具当然各有用途但基本都能归到这三类动作里是这三项能力在具体场景下的变形。另一个关键点是这三个命令天然适合在管道pipe里组合使用。管道是 Unix 哲学里“一个程序只做一件事但通过组合完成复杂任务”的体现。你完全可以把 grep 的输出丢给 sed再把 sed 的结果交给 awk。数据在内存里直接流转不需要产生中间文件这是命令行处理文本比写脚本、用编辑器快得多的核心原因之一。还有一个容易被忽视但实际很关键的点这三个命令的语法设计是“流式”的。它们不会一次性把整个文件读进内存而是逐行读取、逐行处理。这意味着哪怕文件有几个 GB只要你不把结果全部重定向到屏幕或者文件里内存占用都很稳定。我曾经处理过单个超过 8GB 的日志文件用 grep 过滤、awk 统计全程内存占用不到 200MB这在图形界面工具里几乎是不可想象的。理解了定位再谈学习策略。我建议不要一上来就背几千页的 man 手册而是先抓住三条主线正则表达式是通用语法基础先把元字符搞熟grep 是上手门槛最低的适合建立信心然后再啃 sed最后攻 awk。awk 虽然被称为“三剑客里最难啃的骨头”但它的核心模型其实非常简洁只是我们平时被花哨的语法吓到了。后面我会逐步把这个模型拆开讲。2. 正则表达式三个命令共同的语言基础正则表达式是一个描述“文本模式”的规则体系。你可以把它理解成一种“按特征找人”的描述语言——不是精确地指定某个词而是描述一类字符串长得是什么样。这个能力是 grep、sed、awk 共同的底层支撑弄懂正则三剑客基本就学会了一半。2.1 基础元字符逐个拆解正则的元字符是构成匹配规则的最小单元。我不打算按手册顺序罗列而是按“用途”来分组讲这样更容易留下记忆锚点。匹配单个字符类。.是正则里最常见的元字符它的含义是“匹配任意一个字符”但不包括换行符。比如a.c能匹配abc、a1c、a-c但不能匹配ac中间缺一个字符。注意它只能代替一个字符不是任意长度。字符集合[...]则是在给定范围里选一个[abc]匹配 a、b、c 中的任意一个[0-9]匹配任意数字[a-zA-Z]匹配任意字母。如果你想让集合反着来在开头加^比如[^0-9]表示匹配任意非数字字符。这里有个新手常踩的坑^放在[]外面是行首锚点放在[后面第一位是取反位置不同含义截然不同。匹配出现次数。*表示前一个字符出现 0 次或多次这个在正则里算是一个常见“坑点”因为它和我们日常理解的“任意多个”有一点差别——它包含了 0 次。例如ab*c能匹配ac、abc、abbbbc但不能匹配acb后面的 b 和 c 的顺序不对。扩展正则中还引入了1 次或多次和?0 次或 1 次它们在使用时通常需要开启扩展模式grep 里对应-Esed 里对应-E或-rawk 则默认使用扩展正则。匹配位置锚点。^匹配行首$匹配行尾这两个符号在排查日志时极其常用。比如^ERROR只匹配行首紧跟 ERROR 的行error$只匹配以 error 结尾的行。单独一个^$表示空行这个组合在过滤空白行时很实用。转义和分组。\是转义符当你想匹配.、*、[这些元字符本身时前面要加反斜杠比如192\.168\.1\.1匹配 IP 地址。()用于把多个字符打包成一个整体配合|或和数量限定符使用。(cat|dog)匹配 cat 或 dog(ab)匹配 ab、abab、ababab。分组还有个额外能力叫“反向引用”\1表示重复第一个括号里的内容这个在后面讲 sed 的时候会实际用到比如匹配连续重复的单词。2.2 三类正则模式的区分与选型很多人一开始会困惑为什么同样一条正则在 grep 里能用到 awk 里又报语法错误。原因在于 Linux 下正则主要有三种流派基础正则BRE、扩展正则ERE、以及 Perl 兼容正则PCRE通常grep -P启用。BRE 是 POSIX 标准的基础版本、?、|、{}这些符号默认是普通字符必须转义成\、\?、\|、\{m,n\}才有特殊含义。ERE 则相反这些符号不加反斜杠就是特殊含义。grep 默认用 BRE加-E才用 EREsed 也一样基础版本是 BRE-E切到 EREawk 比较特殊它的正则默认就接近 ERE。我个人的经验是日常写正则尽量统一用 ERE也就是给 grep 和 sed 都加上-E参数。理由很简单可读性好不用记一堆转义规则。比如匹配“a 后面跟 1 到 3 个数字”ERE 写法是a[0-9]\{1,3\}在 BRE 里要写成a[0-9]\{1,3\}其中花括号要转义而在 ERE 里直接a[0-9]{1,3}就行明显更直观。还有一个细节是 POSIX 字符类。[[:digit:]]等价于[0-9][[:alpha:]]等价于[a-zA-Z]还有[[:space:]]匹配各种空白符包括空格、Tab 等。这些写法在支持 POSIX 正则的命令里通用在处理带特殊编码的文本时比手写范围更稳妥。2.3 贪婪匹配与懒惰匹配正则默认是贪婪的在满足匹配的前提下它会尽可能多地去吞字符。举个经典例子文本是divhello/divdivworld/div用div.*/div去匹配贪婪模式会把整行从头到尾全匹配上因为第一个div会一直吞到最后一个/div。如果你只想拿到第一个div.../div就得用懒惰模式通常写法是在量词后面加?也就是div.*?/div。这个知识点在处理 HTML、JSON 这类有嵌套结构的文本时极其重要。三剑客里的 grep、sed 默认都支持通过?启用懒惰匹配需要 ERE 或 PCREawk 对懒惰匹配的支持有限遇到特别复杂的结构建议直接用其他工具。3. grep精准筛选日志排查的第一把刀grep 是 global regular expression print 的缩写它的本职工作就是从输入文本中找出匹配正则表达式的行并打印出来。它也是三剑客里最容易上手的我一般建议新人先从这个命令建立对正则的信心。3.1 高频选项速查与记忆方法先记最核心的四个选项-E表示使用扩展正则-v反向匹配挑不满足条件的行-i忽略大小写-n显示行号。这四个组合起来已经能覆盖日常八成场景。再补充几个进阶选项-o只输出匹配到的部分而不是整行这个在看日志里提取 IP、提取 URL 时特别有用-r递归搜索整个目录搜代码工程时基本必用-l只输出包含匹配内容的文件名配合-r可以快速定位哪些文件涉及某个关键词-c输出匹配行数而不是内容做统计很方便。上下文控制选项-Aafter和-Bbefore分别显示匹配行之后和之前指定行数的内容-C同时显示前后各 N 行。排查日志时错误信息往往不在同一行上下游各看几行才能还原现场。3.2 实战场景日志筛选与数据提取我工作中最常做的事情就是从几百万行的访问日志里快速定位异常请求。比如要找所有返回 500 的请求直接grep -E HTTP/1.1\ 500 access.log几秒钟就能把错误请求全部拉出来。如果要进一步看具体是哪些接口出问题可以配合-o提取 URL再管道给sort | uniq -c | sort -rn排序看看到底哪个接口报错最频繁。这里有一条实用技巧把各种“哑字段”用正则结构表达而不是写死字符串。比如提取日志里的 IP 地址正则可以写成[0-9]{1,3}(\.[0-9]{1,3}){3}。这个写法比写死192.168.1.1健壮得多它能匹配任意 IPv4 地址。当然这个正则有瑕疵它没法校验 0-255 的范围但对于筛选场景已经够用。真要做严谨校验grep 不是合适的场所应该用编程语言。再分享一个我经常用的组合用grep -v过滤干扰行。比如查 error 日志时总有一堆 WARN 夹杂其中或者某些已知的误报关键词反复出现。grep ERROR app.log | grep -v known false positive就是先选出 ERROR 行再把这些误报剔除。这个“正能量 负过滤”的思路在日志分析里非常常见比单纯写一个复杂正则更可读、更容易维护。3.3 grep 的退出码陷阱这是很多人用了很久都没注意到的坑。grep 的退出码有三种情况匹配到内容返回 0没匹配到返回 1出错比如文件不存在返回 2。问题在于shell 脚本里如果写了grep foo file | next_command当 grep 没匹配到内容时管道里下一个命令照样会执行很多人以为没匹配到就跳过了结果下一个命令处理了空输入最后产生了奇怪的行为。我在写自动化脚本时遇到过好几次这种问题。合理的做法是先检查 grep 的退出码再决定后续动作。比如if grep -q keyword file; then echo 找到关键词继续处理 else echo 没找到跳过后续逻辑 fi-q选项让 grep 保持安静不输出匹配内容只设置退出码。这样在脚本里用起来又干净又快处理超大文件时还能避免无谓的屏幕输出拖慢性能。4. sed流式编辑批量改写的瑞士军刀sed 的全称是 stream editor流编辑器。它和交互式编辑器比如 vim最大的区别是sed 不是通过光标定位一行一行改而是给你一套规则sed 自动扫描每一行命中规则就执行动作从头到尾跑完整个流。4.1 寻址方式告诉 sed 你要改哪一行sed 的命令基本格式是sed 寻址动作 文件。寻址方式主要有四种行号3、范围2,5、正则/pattern/、还有正则可以和行号混用比如3,/^END/表示从第 3 行开始到第一个以 END 开头的行结束。动作里最基础的是p打印、d删除、s替换。要注意 sed 默认会打印所有行p会把匹配的行额外打印一遍所以单纯想看匹配的行要用-n安静模式关掉默认输出只打印p指定的内容。你可能会问这功能和 grep 有什么区别没错sed -n /pattern/p file从效果上等同于grep pattern file但 sed 的价值在于你可以在同一行里把“筛选”和“后续编辑”组合起来这是 grep 做不到的。d删除动作会把命中的行从输出流中移除。比如sed 8d file删除第 8 行sed /^#/d file删除所有以 # 开头的注释行这在清理配置文件时极为常用。4.2 替换命令全解s/// 的花式玩法替换命令是 sed 里最实用也最复杂的动作格式是s/模式/替换/标志。最基本的用法是把文件里的某个词全部替换掉sed s/old/new/g file末尾的g是 global 标志表示一行里所有匹配都替换不加g则只替换每行的第一个匹配。这个细节很容易被忽略我第一次用 sed 批量替换时就是忘了加g结果每行只改了一半调试了半天才发现是这个问题。替换部分有几个特殊符号值得记忆。表示整条匹配到的内容比如你想给每个数字前后加上括号可以写sed s/[0-9]/()/g file这里的就是那个数字本身。\1、\2表示第 1、第 2 个括号分组的匹配内容这在需要移动顺序时非常有用。比如把“名字,城市”变成“城市,名字”可以写sed -E s/(.*),(.*)/\2,\1/ file反向引用在这里直接实现了字段互换。大小写转换也经常用到。\U把后续内容转大写\u只把下一个字符转大写\L和\l同理。比如把变量名从 snake_case 转成驼峰可以先转大写再结合分组处理。这些细节 man 手册里都有但平时不留意的话根本不知道 sed 还有这能力。4.3 原地修改与文件备份的正确姿势sed 默认把修改结果打印到标准输出不直接改动原文件。想原地修改要用-i参数。这里我建议你养成一个习惯加-i时一定要带上备份后缀。比如sed -i.bak s/old/new/g config.conf会先生成一份 config.conf.bak 备份文件再原地修改 config.conf。为什么要强调这个习惯因为 sed 对文件的修改不可撤销一旦正则写错可能成千上万行的内容被错误替换而且没有任何 undo 机制。有一次我在改一份线上配置文件时正则写漏了一个字符直接把所有以a开头的行全都删了。幸好当时加了备份后缀一条mv config.conf.bak config.conf就恢复了。如果不加备份那种情况下只能找备份系统恢复代价完全不同。还有一点要留意-i参数在不同平台的写法有差异。Linux 的 GNU sed 允许-i和备份后缀之间没有空格-i.bak而 macOS 的 BSD sed 强制要求分开写-i.bak或-i .bak。跨平台脚本如果要兼容最好统一写成sed -i.bak这种紧凑形式再验证一下目标平台的行为。4.4 多行模式与经典应用sed 默认按“行”为单位操作但有些需求跨多行这时要用到N、H、G这些多行命令。一个我常用的场景是把每三行合成一行。可以用下列命令sed N;N;s/\n/ /g file这里N把下一行追加到模式空间执行两次后模式空间里就有三行再用s把换行符替换成空格达到合并效果。这个方法在处理导出的文本数据、把分散的日志片段拼接起来时很实用。另一个经典应用是在指定行的前一行或后一行插入内容。a是追加afteri是插入before。比如要在“配置节结尾”之后插入一行注释sed /\[section\]/a # 下面是新增配置 config.ini如果要在匹配行之前插入把a换成i就行。掌握这两个指令后批量修改配置文件时就不用手动打开编辑器逐行操作了。5. awk按列计算的隐藏编程语言awk 是三剑客里最被低估的一个它看起来像个命令本质上是一门迷你编程语言。它的设计围绕“按列处理文本”展开是所有数据统计类任务的利器。说实话我接触 awk 之前一直觉得它就是“取第几列”的小工具直到真正理解了它的模型才意识到这玩意儿能干的事远超想象。5.1 核心执行模型读一行拆列执行动作awk 的基本结构是awk 模式 { 动作 } 文件awk 从输入里逐行读取自动把每一行按空白符空格或 Tab拆分成多个字段$1表示第一个字段$2表示第二个字段依次类推$0表示整行。这个“行”被称为记录record默认以换行符分隔“列”被称为字段field默认以空白符分隔。你可以把 awk 的执行过程想象成一个流水线读入一行、劈成若干列、用模式去判断这行是否要处理、如果需要就执行大括号里的动作、然后读下一行。这个模型本身不复杂但因为它实在太像一个“遍历循环”反而让习惯了普通命令的人一时转不过弯来。最基础的三段式结构是BEGIN { 初次动作 } { 每行动作 } END { 收尾动作 }。BEGIN 块在读文件之前执行通常用来初始化变量、设置分隔符中间的每行动作会执行 N 次N 等于输入行数END 块在所有行处理完后执行通常用来输出统计结果。5.2 常用内置变量与函数awk 自带一批内置变量记住它们能省掉大量手动编码。最重要的几个NF当前记录行的字段数量。awk {print NF} file打印每行的列数这个在检查数据是否规整时很好用。NR已经读过的记录总数相当于“当前是第几行”。awk NR 1 {print} file跳过第一行表头打印其余所有行。FNR当前文件内部的行号。在处理多个文件时NR是跨文件累加的FNR会在每个文件开头重置为 1。区分它们是多文件处理的必备知识。$NF最后一个字段的值。$NF不是变量而是变量 NF 的取值引用专门用来取最后一列。FILENAME当前输入文件名。内置函数方面length()返回字符串长度sub()和gsub()做替换类似 sed 的 s 命令但作用在字段上split()按指定分隔符把字符串拆成数组sprintf()做格式化输出。数值相关的int()、sqrt()、rand()也都有遇到感兴趣的可以去 man 手册里检索。5.3 字段分隔符定制与格式化输出默认字段分隔符是空白符但真实数据往往用逗号、竖线、冒号作分隔。这时要用-F参数指定输入分隔符。比如处理 CSV 文件awk -F, {print $1} file。如果要读取/etc/passwd冒号分隔awk -F: {print $1} /etc/passwd取出所有用户名。如果你希望输出也是特定分隔符而不是默认空格可以用OFS变量。这里有个细节在 BEGIN 块里设置OFS,后print $1,$2就会用逗号连接两个字段。但如果你在命令行里直接写awk -F, {print $1,$2}这种手动拼接也是可以的不过代码可读性会打折扣字段一多就容易乱。格式化输出要用printf它和 C 语言的 printf 几乎一样。比如想输出每行第一列字符串和第二列数字并保留两位小数可以写awk {printf %-20s %8.2f\n, $1, $2} file%-20s表示左对齐、宽度 20 的字符串%8.2f表示宽度 8、两位小数的浮点数。这种格式化输出在生成报表、拼接数据文件时特别实用。数据量一大用 printf 输出的对齐效果远比 Excel 里手动调整清爽。5.4 关联数组与实战统计awk 的关联数组associative array是我认为它最强大的能力之一。普通数组按下标 0、1、2 访问关联数组可以用任意字符串作为下标。这让它天然适合做“去重”和“分组计数”。统计文件中每个 IP 的出现次数awk {count[$1]} END {for (ip in count) print ip, count[ip]} access.log这段代码的意思很直白每读到一行把第一列的值作为数组下标给对应的计数器加一等所有行处理完在 END 块里遍历数组打印 IP 和次数。同样的逻辑换成uniq -c需要配合 sort 使用而且 sort 大文件非常消耗内存和 IO 时间awk 处理起来就快得多因为它不需要排出全序只做哈希计数。求和、求均值、求最大最小这些也同样是 awk 的拿手好戏。比如计算某个文件第二列的总和awk {sum $2} END {print sum} file如果要按某个分组再做二次汇总比如按“省份”统计“销售额总和”模式就是sum[$1] $2和 IP 计数是一个套路。掌握这一个“用关联数组做分组统计”的心法你就能在命令行里解决大多数数据透视表的工作。字段重排也是常见需求。比如日志文件里时间戳在第 2 列、请求路径在第 5 列想提取出这两个字段并交换顺序一句话搞定awk {print $5, $2} file配合 OFS 设置分隔符还能直接转成其他格式。我经常用这个方法把服务日志转成 CSV 导入表格工具做分析。5.5 三剑客的流水线配合单独的工具能解决单点问题但真实场景往往是组合拳。我举一个自己处理日志的实际例子。假设有个 access.log格式大致是IP 时间 请求行 状态码 响应字节我要统计“哪些 IP 在下午 2 点到 3 点之间访问过且返回 500”并按 IP 分组统计访问量。单靠一个命令可能很难写但拆成流水线就很自然awk $2 ~ /^14:/ $4 500 {print $1} access.log | sort | uniq -c这个例子用了 awk 的正则匹配和时间判断输出 IP 列表后再交给 sort 和 uniq 统计。如果中间想过滤掉某些内网 IP可以再加一个 grepawk $2 ~ /^14:/ $4 500 {print $1} access.log | grep -v ^192\.168\. | sort | uniq -c这种组合的好处是每段只做一件事逻辑清晰排错容易。哪一步输出不对直接把管道拆开跑一步看一眼就能定位问题。这比在一个脚本里写一大坨正则和循环要高效得多。6. 高频问题与排查技巧实录三剑客用久了总会积累一些反反复复出现的坑。我整理了一份自己实践中踩过、也帮别人排查过的高频问题清单按出现频率排序希望能帮你少走弯路。6.1 常见问题速查表问题表现根本原因解决方案grep 匹配不到内容但肉眼明明有用了 BRE元字符需要转义加-E切到扩展正则sed 替换只改了每行第一个忘记加g标志s/old/new/gawk / 正则不生效字符串比较写成了用$1 ~ /pattern/awk {print $1}没输出文件列分隔不是空白符用-F指定实际分隔符sed -i 在 macOS 上报错BSD sed 的-i语法不同sed -i.bak紧凑写法更兼容grep 没匹配但脚本继续执行了忽略了退出码用if grep -q判断匹配包含空格的日志行失败正则没考虑多个连续空白符用[[:space:]]替代空格把大文件管道给 sort 时卡死sort 需要全量排序尽量用 awk 数组做计数sed 反斜杠在 shell 里被吃掉了双引号中的转义被 shell 解析外层使用单引号包裹正则awk 统计结果不对字段号从 0 开始使用$0整行记住$1才是第一个字段这十个问题占了日常踩坑的八成以上建议把这张表存下来遇到类似症状先对照排查。6.2 引号与转义的哲学单引号优先三剑客的命令行写法中引号使用规则必须刻进肌肉记忆正则表达式外层一律用单引号。原因很简单单引号内所有字符都是字面量shell 不会做任何变量展开和转义处理。比如你要写$表示行尾锚点双引号里$会被 shell 当成变量前缀直接吃掉了单引号里它才能安全地传给 grep。如果确实需要在正则里引用 shell 变量那是另一套玩法先把正则拼成字符串再传入命令。比如pattern.*$keyword.*然后grep $pattern file这时必须用双引号让变量展开但同时你正则里的$就需要写成\$来转义很容易搞混。我的习惯是能用单引号就用单引号确需变量时把变量放在单引号外面拼接grep -E ^ $ip file这样正则部分仍然被单引号保护只有变量部分用双引号两者逻辑清晰、互不干扰。6.3 性能观察数据量大时的工具选择处理几个 GB 的文件时命令之间的性能差距会非常明显。我自己的体感排序是grep 最快awk 次之sed 再次sort 最慢因为必须全量排序。这个结论不是严格基准测试的结果但几十次实际操作下来大致稳定。所以实践策略很简单能用 grep 过滤掉的干扰行就先过滤掉再丢给 awk。比如日志文件 5GB真正需要统计的行可能只有 100MB。先 grep 筛掉 90% 的数据 awk 要遍历的内容少了整体速度自然就上去了。这也是我在第 5 节流水线示例里强调“先筛后算”的原因。另外如果发现 awk 程序执行业务逻辑太复杂比如大量正则匹配、频繁 split 大字符串性能明显下降的话那就是一个信号你的问题已经超出“文本处理”范畴了该考虑换成真正的编程语言Python、Go 之类的来做。命令行工具擅长的是“线性扫描 简单变换”复杂的业务逻辑硬塞给 awk 反而会变成维护噩梦。6.4 转义地狱的正确打开方式正则里的反斜杠本来就多再加上 shell 层的转义就容易出现“写的时候觉得对跑起来全错”的挫败感。我的经验是分层理解转义shell 拿到命令先解析一层把转义后的字符串传给命令命令内部再把字符串解析成真正的正则模式。所以你在屏幕上看到的\\到正则引擎那里可能就是一个普通反斜杠。想验证当前命令最终收到的正则长什么样可以把命令改成echo打印出来echo a\\b打印结果会告诉你 shell 解析后的字符串是什么方便排查到底是 shell 层转义多了还是少了。这个调试方法很土但确实有效特别是在写多层嵌套的复杂正则时能救回不少时间。最后再多说几句实际操作中我的体会是这三样工具不是要“背会”而是要靠“用熟”。你不需要记住 sed 的分支命令、awk 的所有内建函数只需要知道它们能解决哪一类问题遇到新需求时能凭直觉找到对应的命令和参数就足够了。写得再好的教程也只能带你进门真正把这些语法内化成肌肉记忆的是每天处理日志、改配置、刷数据时一次次试出来的感觉。下一次你再拿到一个数万行的文本文件别急着打开编辑器先想想——grep 能不能筛sed 能不能改awk 能不能算大概率三剑客组合几下就能完成你要的活儿。