1. 认识sed不只是文本替换工具很多人第一次接触sed是在网上搜“Linux怎么批量替换文件内容”然后照着命令抄了一遍。sed确实是做文本替换的一把好手但如果你仅仅把它当成一个替换工具那可能只用了它不到百分之二十的能力。sed的全称是stream editor流编辑器。这个名字很直白——它处理的是“流”也就是一串连续的数据。和vim、nano这类交互式编辑器不同sed不需要你打开文件、移动光标、按下按键它直接把文本流读进来按照你给的规则处理后输出结果。这种工作方式让它成为脚本、管道、自动化任务里的常客。我用sed最频繁的三个场景批量替换配置文件里的参数、从日志文件里快速提取关键信息、把非标准格式的数据整理成标准化表格。这几件事用其他工具也能做但用sed往往是最短的一条路径。这篇文章适合谁看如果你已经会用 grep 和 awk 的一点点基础想补上文本处理三兄弟的最后一块拼图或者你写shell脚本时总觉得sed用不熟看到别人的命令还要现查手册那么这篇文章就是给你准备的。我会从底层原理讲起再逐步深入到实战案例争取让你读完以后遇到文本处理任务时能自然地想到“这题可以用sed来解”。2. 核心原理sed的工作模式必须搞懂2.1 逐行处理与模式空间sed一次只处理一行数据。它把输入流可能是文件也可能是管道里的内容按行读取每一行先去掉结尾的换行符放进一个临时缓冲区这个缓冲区叫pattern space模式空间。然后sed对你指定的命令进行匹配和执行处理完后把结果输出到标准输出接着读下一行循环往复。文件全部读完之后sed退出。这个“逐行处理”的设计让sed几乎不需要占用太多内存。即使面对几百MB甚至几GB的日志文件也一样轻松应对。相比之下如果用Python写一个脚本把整个文件读进内存再处理大文件很容易就内存吃紧。这就是流式处理的优势。有一个概念必须区分清楚sed默认会“自动打印”每一行但这里的自动打印打印的是模式空间里的内容。如果你用了某些命令修改了模式空间打印出去的就是修改后的版本。这里我把需要用到的命令说清楚。2.2 模式空间与保持空间两把刷子配合干活模式空间之外sed还有一个叫hold space保持空间的缓冲区。模式空间是每行都会刷新的“工作台”保持空间则是你手动存放数据的“仓库”。默认情况下保持空间是空的也可以用命令往里存、取、交换数据。我先说最基础的几个操作命令s替换。这是被用得最多的命令。s/old/new/把当前行第一个匹配到的old替换成new如果加g后缀就是替换这一行所有匹配项。d删除。把当前行从模式空间里删掉这一行就不会被打印了。p打印。手动把当前模式空间内容打印出来。这通常配合-n参数一起用后面细说。a、i、c追加、插入、修改整行内容。y字符映射转换类似tr的效果。: 显示行号。q: 退出sed。还有一个经常跟p混淆的是-n参数。sed -n s/foo/bar/p file中的-n是“关闭自动打印”p是“手动打印”。这两个必须配合着用-n把sed默认的逐行输出关掉然后你用p命令只输出你感兴趣的那些行。如果不加-n原本没匹配到的行也会原样打出来再叠加p就会让匹配行出现两次。这个坑我见过不少人踩过。sed -n s/foo/bar/p file这个命令的意思只打印发生了替换的那几行。想只看结果不看其他内容就这么写。2.3 脚本格式命令怎么编排sed脚本由一系列命令组成命令之间可以用分号分隔也可以写成多个-e参数或者写在单独的脚本文件里用-f指定。三种方式等价选择哪种取决于脚本长短。# 方式一分号分隔 sed s/foo/bar/; s/baz/qux/ file # 方式二多个-e sed -e s/foo/bar/ -e s/baz/qux/ file # 方式三脚本文件 sed -f my_script.sed file需要加条件的时候在命令前面加上“地址”就行。比如2s/foo/bar/就只对第2行做替换/^#/d表示删除所有以#开头的行。地址可以用行号、正则表达式、$代表最后一行还可以用两个地址限定一个范围。这个细节后面有一节专门讲。有一个点要提醒多个命令作用于同一行时从上往下依次执行。模式空间的内容在执行完所有命令后才被输出。这就意味着后面的命令能感知到前面命令对模式空间做的修改。这个特性是sed脚本能完成复杂逻辑的基础。3. 实战拆解那些你迟早会用到的sed技术3.1 页面最常问合法替换的易错点每次讲sed替换命令的安全问题总是绕不开的。替换的分隔符不一定非要用斜杠。如果替换内容里本身就带斜杠比如路径你再拿斜杠当分隔符就不得不在内容里到处转义非常丑。这时候换一个分隔符就太平了# 替换路径里的 /usr/local 为 /opt sed s/\/usr\/local/\/opt/ file # 换用#做分隔符 sed s#/usr/local#/opt# file命令可读性完全不在一个级别。s后紧跟的任意字符都能当分隔符#、、;都是常见选择。再讲一个容易踩坑的地方在替换串里有特殊含义代表“整个被匹配的部分”。比如你有一批产品的编号格式是PROD-12345想把它们变成[PROD-12345]sed s/PROD-[0-9]*/[]/ products.txt这里会被展开成PROD-12345原始字符串。如果你确实想把文本里的 字符原样写进替换结果那就得转义成\。括号捕获也需要单独说一下。基础正则表达式BRE里捕获组写作\(和\)引用写作\1、\2。这在提取一部分内容再重新排列时特别有用。比如日志里有一行2025-06-01 10:22:33 ERROR something went wrong你想把日期和时间拆到不同的字段里sed s/\([0-9-]*\) \([0-9:]*\) /\1 -- \2 / app.log这里\1是第一个捕获组也就是日期\2是第二个捕获组也就是时间。如果习惯用扩展正则ERE比如、?、|这些字符不需要转义你可以加-E参数启用。注意-E下用捕获组就直接写()和\1不需要反斜杠了。3.2 地址寻址操作的行范围怎么控制sed命令前面可以带地址或者地址范围。地址可以是行号可以是正则也可以是$。地址形式有这几种情况不写地址每一行都执行命令。单个地址只对匹配的行执行。逗号分隔的两个地址从第一个匹配开始到第二个匹配为止之间的所有行都执行。地址后面跟!取反不匹配的行才执行。举几个例子比干说容易理解# 只删除第5行 sed 5d file # 删除第3行到第8行 sed 3,8d file # 删除空行 sed /^$/d file # 在包含ERROR的行前面加一行时间戳标记 sed /ERROR/i\ file # 从第10行到文件末尾全部打印 sed -n 10,$p file还有一种是步进式寻址用~表示。sed -n 1~2p表示从第1行开始每隔2行打印一次——这不就是奇数行嘛。2~2p就是偶数行。这个写法在处理交错数据时很实用。3.3 多行处理N、P、D三兄弟的配合前面说过sed默认逐行处理但有些任务需要跨行匹配。这时候就要请出大写命令N、P、D了。N命令把下一行读取并追加到当前模式空间模式空间里就有了两行两行之间用换行符写作\n分隔。P是打印模式空间中第一行到第一个换行符为止的部分。D是删除模式空间中第一行然后回到脚本开头重新执行。这三个命令搭起来能实现很多模式空间就像一个窗口一样滑动的效果。举个例子。假设你有一个文件每隔一行是姓名和电话但电话格式乱得很——有的带横杠有的带空格有的连在一起。你想把乱格式的电话统一好看。这个用常规逐行处理会很被动因为你不知道上一行和下一行的关联关系到底存不存在。用N可以这样处理sed N; s/\n\([0-9]\{3\}\)[- ]\{0,1\}\([0-9]\{4\}\)/\n(\1) \2/ contacts.txt这个命令的思路每次读取两行进模式空间然后针对第二行中的电话号码做格式化。N命令处理完后模式空间里两行合在一起输出但不能留有空白。N命令最常见的用途之一就是“合并行”。N之后直接s/\n/,/就能把两行合并成一行中间拼个逗号。3.4 保持空间临时存放数据的高级玩法保持空间的典型场景是实现“逆序打印文件”、“只打印最后几行”、“跨行数据积累”。逆序打印文件的经典三板斧sed 1!G; h; $!d file这个命令组合很有名我拆开讲一下逻辑1!G不是第1行时把保持空间内容追加到模式空间后面。h把当前模式空间内容复制到保持空间。$!d不是最后一行时删除模式空间内容不输出。执行流程是这样的第1行读入模式空间后1!G不执行因为地址条件不满足也不成立h把第1行存入保持空间$!d把模式空间删掉不打印。第2行读入后G把保持空间里的第1行追加到第2行后面第2行和第1行之间用换行符隔开h把这个组合存入保持空间然后删除模式空间。以此类推每一行都会把前面所有内容接在后面最后一行因为$!d不执行模式空间中的完整逆序内容被输出。保持空间另一个经典用法是处理跨行数据结构。比如从一封邮件里提取多个“From: xxxexample.com”后面的收件方信息用保持空间累计比用循环更高效。4. 高频场景日志处理与配置修改的实战案例4.1 日志清洗去噪、提取、统计一条龙日志文件是我用sed最多的场景。日志通常又大又杂直接用编辑器打开会卡死机器但sed的流式处理天生适合这种场景。先看一个提取IP分布的例子。假设Nginx访问日志有一行是192.168.1.100 - - [01/Jun/2025:10:22:33 0800] GET /api/users HTTP/1.1 200 521我想统计每个IP地址出现的次数。先用sed把IP地址提取出来再用sort和uniq去重计数sed -n s/^\([0-9.]*\) .*/\1/p access.log | sort | uniq -c | sort -nr命令拆解-n关闭自动输出s/.../.../p把关键位置替换成IP本身并打印。这里面用到捕获组^\([0-9.]*\)匹配行首的IP.*匹配后面其余部分然后替换成\1即IP地址。这样一行日志就变成一列IP后面交给管道工具处理就行。另外一个场景是把日志里所有时间戳批量替换成另一种格式sed -E s#\[([0-9]{2})/([A-Za-z]{3})/([0-9]{4}):([0-9:])#[\3-\2-\1 \4#g access.log这条命令把[01/Jun/2025:10:22:33变成[2025-Jun-01 10:22:33。这里需要两个点注意一是用了-E扩展正则量词{2}和{3}就不用转义二是捕获组的顺序日、月、年分别编号为\1、\2、\3。替换串中把\3放最前面就完成了重新排序。日志里常有一些敏感字段要脱敏比如手机号。你可以只保留前三位和后四位sed -E s/(1[0-9]{2})[0-9]{4}([0-9]{4})/\1****\2/g user.log这个操作能保证日志仍然保留了部分可辨识信息同时又能放心分享给他人。4.2 配置文件批量修改备份、加注释、改参数改配置文件的场景sed更是王者。拿Nginx或Apache的配置来说常常需要批量启用或关闭某个模块注释或取消注释某些行。批量给某个区块的配置项加注释sed -i /^server {/,/^}/ s/^/# / site.conf这个命令思路用/^server {/,/^}/限定范围——从server {开头到}结尾——然后在这个范围内对所有行加前缀#。s/^/# /把行首替换成#。注意-i参数会直接修改原文件操作前最好备份一份。修改文件里的连接超时数值比如把所有timeout从 30 改成 60sed -i s/\(timeout[[:space:]]*\?[[:space:]]*\)30/\160/ nginx.conf这里\1是前面匹配到的“timeout ”部分60是新的数值。用捕获组的好处是前面的空格或等号等格式不会被丢掉。还有一种常见需求是只修改某个特定段落里的参数。比如只修改虚拟主机配置中的server_namesed -i /^server_name/,/;/ s/old\.example\.com/new\.example\.com/ vhosts.conf这个写法用逗号加两个正则来定一个范围但这种方式不是完全精确。假如server_name后面跨多行才有分号这条命令会把范围内的所有old.example.com都替换掉。如果只想替换第一个就把/;/改成/;/用s///不带g标志让替换每行只做一次也可以部分缓解。要想更精确就得靠下一节讲的分支和循环。4.3 数据格式化CSV处理与字段重排CSV文件处理我想重点说一说。很多CSV字段用逗号分隔但字段值里可能包含了逗号比如Smith, John。如果无脑按逗号切数据就全乱了。这时候利用sed在引号内做一步处理先把引号里的逗号替换成一个占位符等分割完成后再换回来sed s/\([^]*\),\([^]*\)/\1COMMA\2/g data.csv不过这里有个局限一次替换只能处理一个引号内的一处逗号。如果一个字段值里有多个逗号需要循环处理。sed本身能实现循环用:label和b命令sed :again; s/\([^]*\),\([^]*\)/\1COMMA\2/g; t again; s/COMMA/,/g; s/\([^,]*\),\([^,]*\),\(.*\)/\1|\2|\3/ data.csvt命令表示当替换发生跳转后跳到标签:again重新执行替换一直到没有替换发生才停下来。这样就能处理任意多个逗号。这一步处理完后再把占位符换回逗号然后统一把分隔符换成管道符|。这个例子想说明一个道理sed虽然没有编程语言那么丰富的数据结构但通过标签跳转和替换结合它依然能完成相当复杂的解析任务。遇到极端复杂结构时当然建议换Python但很多“简单但重复”的清洗任务sed一行就能搞定没必要开一个大脚本。5. 高级技巧分支、循环与花式花样5.1 用:label和b实现循环逻辑sed脚本里可以用:name定义标签b name是无条件跳转到指定标签t name是当最近的替换命令执行成功后跳转。这两个命令配合起来能实现“只要能替换就一直替换”的循环逻辑。举一个实际例子。你有一份旧的Docker compose文件里面镜像名写的是myapp:v1需要统一升级到v2。但有些行里镜像标签出现多次比如一行里有myapp:v1的镜像、依赖、环境变量等出处要全部改掉sed :start; s/myapp:v1/myapp:v2/g; t start docker-compose.yml这个命令会不会死循环不会。因为s///g把所有能匹配的都替换完了以后再执行t时刚才的替换是否成功如果成功就跳回去再来一遍没有匹配就继续往下走。所以跳转几次后终究会停止。还有一种用b做条件处理的例子——给文件中的第1行特殊处理其余行没有差别sed 1bonward; s/^/prefix /; :onward; {s/$/suffix/;} file当然这个例子比较刻意真实情况可能是处理第1行时换一种命令策略处理其余行时走另一套逻辑。5.2 用scratch space累积数据保持空间除了上面说的逆序输出还能用来做“多行汇总”。比如某个日志格式错误信息可能跨多行输出首行包含时间戳后续行是详细堆栈。我想把这些多行浓缩成一行每行前面加上首行的时间信息sed /^[0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}/h; /^[0-9]\{4\}-[0-9]\{2\}-[0-9]\{2\}/!{H; x; s/\n/ /; } error.log解释一下遇到时间戳行日期开头时用h存入保持空间遇到非时间戳行时用H追加到保持空间x互换模式空间和保持空间s/\n/ /把换行替换成空格实现拼接。输出时整行连在一起。有几点要注意x交换后模式空间内容变成“时间戳当前非时间戳行”而保持空间内容也在互换时更新成了“原来的模式空间内容也就是当前行”所以保持空间的累积是持续有效的。这套逻辑有点像维护一个“累计缓冲区”处理跨行数据时非常可靠。5.3 多文件处理与in-place编辑注意事项-i参数可以配合多个文件使用比如sed -i s/old/new/g file1.txt file2.txt file3.txt文件多的时候建议先只跑一遍不带-i的命令看看输出对不对确认没问题再补上-i。另外不同系统下-i的语法略不同比如在BSD系的系统如macOS默认环境里-i后面要带一个后缀做备份sed -i .bak s/.../ file而GNU环境里-i不带参数就是直接改原文件。跨平台使用时这条很容易踩雷。如果你不想改原文件只想把结果写到另一个文件里最直接的办法就是重定向sed s/foo/bar/ input.txt output.txt但要注意写完再回过头跑脚本经常出错的地方是重定向的文件和输入文件同名。sed s/foo/bar/ file file会在sed读取前先把file截断成空文件造成数据全部丢失。这个低级错误我至少见过三次。想即时备份的话sed s/foo/bar/ file file.tmp mv file.tmp file这个逻辑才是安全的。6. 常见问题排查与避坑手册6.1 替换没生效检查这四项第一s命令默认只替换每行的第一个匹配。如果一行的多个地方都需要替换必须有g标志。所以老写sed s/foo/bar/然后发现第二个没换掉不是bug是设计的预期行为。第二正则没匹配上。最常见的原因是没有转义特殊字符。比如想匹配一个点号.直接写.会匹配任意字符必须转义成\.。或者想匹配问号?基础正则里没有特殊含义直接写?就行但如果在扩展模式下?又成了“前一个字符可有可无”反而需要转义。模式污了这个环节要多测试。第三分隔符冲突。前面刚说过内容里含分隔符时换一个分隔符这是非常有效的解法。第四-n没配p或者没配-n却用了p导致输出乱套。这个前面也讲过记住规律想只打印筛选行-np成对出现想原样输出其他行就别用-n。6.2 大文件处理慢问题出在RexBacktracking正则引擎最怕的就是“回溯爆炸”。如果写出来的正则太贪婪比如用.*匹配很长的一行引擎可能反复尝试各种组合才能确定匹配结果在大文件上会变得异常慢。减少回溯的办法使用字符集而非.。比如[0-9A-Za-z._-]比.*更明确。用^和$限定锚点让引擎知道从哪里开始寻找。能非贪婪就非贪婪。不过基础正则里没有非贪婪语法扩展模式也没有的话就得多用排除性字符集。在优化一个大日志文件的解析命令时我把.*换成[^]*速度提升非常明显。核心逻辑很朴素告诉正则引擎“遇到这个字符就不要再继续了”比让它试探着往前走高效很多。6.3 结合其他命令使用时的坑sed经常和xargs、find、grep组合使用。管道里最容易出现的问题是转义层级过多。你写一条带sed的命令shell会先用自己的规则解析引号和转义然后才把最终的脚本交给sed执行。引号层数一多很容易出现\在前面被shell吃掉了、变成一堆奇怪的展开结果。一个实用的调试技巧是先用echo试命令看shell解析出来的参数是否正常。或者用一个变量保存复杂的正则避免直接在命令里嵌多层特殊字符。还有要注意sed和awk处理中文文本时某些旧版本本体对UTF-8多字节字符的边界识别并不完美匹配中文时偶尔会出岔子。建议用grep先确认中文匹配是否正常再让sed上。6.4 排错速查表我把自己用过的一些典型问题整理成一张表症状最可能原因解法替换只改了每行第一次出现缺少g标志s/foo/bar/g命令不生效也没报错正则没匹配上或地址范围不对用-n p调试输出匹配到不该匹配的字符特殊字符没转义在.、*、[前加\打印了重复的行同时用了-n和p且未理解行为分清-n与p的使用-i报错平台差异导致参数写法不对查当前sed版本用法临时文件覆盖原文件输出重定向目标与输入同名用中间临时文件再加mv大文件跑得极慢正则有回溯用排除字符集替代.*另外列几个我日常用来排查的命令# 查看匹配了哪些行 sed -n /regex/p file # 查看替换后的结果不写原文件 sed s/foo/bar/ file | less # 高亮匹配的东西 sed s/foo/[]/g file这些调试手段能让你快速看清sed的“所见即所得”过程下次改命令就非常有把握。7. 写在最后的经验谈做运维和开发这些年我踩过的最多的坑不是sed语法本身而是“拿到任务就急着写命令结果需求搞错了”。比如文件编码问题。不少配置文件是带BOMByte Order Mark的UTF-8如果直接sed -i替换BOM可能留在文件开头导致某些程序解析出误认为第一个键名多了个不可见字符。先运行head -c 3 file | xxd看一眼有没有EF BB BF有的话先去掉BOM再处理。还想提醒一点的是sed命令写进脚本里可读性远比“一行流”重要。我在脚本里写sed时习惯把每步要做什么用一个注释说明特别是那些带:label、H、G的复杂命令。两三个月后回来看当时的自己能看懂同事也能改得动。真没必要为了展示命令行技巧把命令压缩得比密码还难读。再来一个小技巧如果你在调试一个替换规则最稳妥的步骤是先在单行测试文件上跑再用小样本文件跑最后才上全量文件。有人在几百GB的线上日志上随手敲了条没验证过的sed结果把不少关键字段全替换错了。后来花了半天从备份恢复。真不是吓人数据和配置一定要留可后悔的余地。另外sed跟其他工具的搭配潜力也很大。用它配合awk做数据流硬解析、配合sort做统计、配合find加-exec批量处理文件都是常规操作。可以把sed当成文本流水线上的一座加工站前后接什么随意组合。越用越觉得三兄弟里sed的人气一直不如grep和awk但它胜在简洁、精细、单点能力强。有些不明觉厉的命令往往拆开看就是一点点技巧的堆叠理解了基本原理剩下的就只是熟练度了。如果你现在手里正有一个文本处理的活儿不妨打开终端先拿几行测试数据练一练再落到真实文件上。趁热打铁是最有效的学习方式。