在Linux的日常操作里sed绝对是我使用频率最高的几个命令之一。很多人对它的印象停留在“用 s 替换一下文本”但真正遇到复杂的日志处理、配置文件批量修改时才发现自己只会那三板斧又去网上搜一段自己都看不懂的奇技淫巧。这篇文章我不打算给你罗列一堆冷门参数而是从sed的核心工作机制讲起结合我平时在服务器上处理真实问题的场景把寻址、替换、插入、删除这些最实用的能力彻底讲透。无论你是刚接触命令行的新手还是用了几年 sed 但总觉得差口气的老手这篇文章都值得你花十分钟读完以后遇到文本处理你会发现自己真的能少写很多弯路。1. 内容整体设计与思路拆解1.1 为什么几乎所有Linux教程都绕不开sedsed 的全称是 Stream Editor流编辑器。它不像 vim 那样需要打开整个文件交互式操作而是像一个流水线上的工人数据流从一端进来sed 逐行处理完再从另一端出去。这个“流式”的设计理念决定了它最强的两个使用场景一是处理超大文件时内存占用极其稳定二是可以和管道符无缝配合成为 Shell 脚本里数据处理链条的关键一环。很多初学者不理解“流”这个概念总拿 sed 和 grep、awk 混为一谈。我做个简单的类比grep 是过滤器负责从一堆数据里“挑”出符合条件的行awk 是切片器擅长把一行数据按列拆开做统计而 sed 更像一个编辑员它可以在不打开文件的情况下对文本进行增、删、改、替。你可以把文件想象成一本很厚的书sed 就是那个自动翻书、按页码修改文字的程序员它的工作过程不会把整本书复印一遍而是每翻开一页处理一页处理完就翻下一页。正是这个机制让 sed 在处理几百 MB 甚至几个 GB 的日志文件时依然能保持非常低的资源占用。我曾经在一台内存只有 2G 的旧服务器上用一条 sed 命令清洗几个 GB 的 Nginx 访问日志整个过程机器毫无压力这在用 vim 打开文件都会卡死的环境下是难以想象的体验。1.2 深入理解sed的三段式处理流水线关于 sed 的工作原理我建议你先记住一句话sed 对输入流的每一行都会执行“读取Read— 执行Execute— 输出Display”三个步骤。这个顺序非常重要因为很多新手栽跟头就是没搞明白“到底什么时候执行命令什么时候输出内容”。具体来说sed 运行时脑子里有一个叫做“模式空间”的缓冲区它每次从输入流中读入一行内容放进这个缓冲区然后依次执行你给它的各个命令。如果命令是替换s它就修改缓冲区里的内容如果命令是删除d它会直接清空缓冲区并且阻止当前这行被输出如果命令是打印p它会额外把缓冲区内容打印一遍。默认情况下只要缓冲区里还有内容sed 在处理完所有命令后会自动把这一行输出到标准输出。这一步是隐式的也是新手最容易模糊的地方。举个例子你执行sed s/foo/bar/ file.txt它的处理过程是读入第一行放到模式空间执行替换此时缓冲区内容可能已经变了处理完命令后自动打印这一行。然后清空模式空间读入第二行继续同样的循环。理解了这一点你就能明白为什么有时候结果里会出现“重复行”——比如用了 p 命令缓冲区内容被打印了一次处理结束后又被自动打印了一次。我的建议是在学习任何一条 sed 命令时脑子里都要走一遍这个流水线。记住这个底层机制比死记几十个参数选项要重要得多因为所有复杂的行为都是在这三步基础上组合出来的。2. 核心语法与替换操作的深度实践2.1 替换命令s从基础用法到分组引用s命令是 sed 里出场率最高的用法形式是s/pattern/replacement/flag。很多人只会最简单的s/旧/新/但这里面的细节其实不少。各个分隔符不一定非要用斜杠如果替换内容里包含很多斜杠你可以换成#、、|等字符。比如要替换文件里的路径用sed s#/usr/local#/opt#就能避免写一堆转义的斜杠看起来清爽得多。更进阶的是分组引用。在正则里用圆括号括起来的内容可以在替换部分用\1、\2来引用。比如我有一个需求要把形如2024-05-18的日期改成18/05/2024可以直接用sed -E s/([0-9]{4})-([0-9]{2})-([0-9]{2})/\3\/\2\/\1/。这里我把年月日分别捕获到三个分组里然后在替换部分重新排列顺序。注意我在命令里加了-E选项这是为了使用扩展正则这样用圆括号分组就不需要加反斜杠转义了写起来省心很多。如果你不加-E那就得写成\(2024\)这种带反斜杠的形式非常容易出错。还有一个容易被忽略但实际很有用的替换标志。在替换内容里代表整个匹配到的字符串。举个例子我想给文本里所有的数字加上方括号高亮可以用sed s/[0-9]\/[]/g。这里的直接引用了匹配到的那个数字本身不管它是 1 还是 1024都会被正确地包进中括号里。这个技巧在批量加工文本模板时特别实用。我刚开始用 sed 的时候经常忘记加g标志。这里必须提醒你默认情况下s命令在一行内只替换第一个匹配到的内容。如果想替换一行中所有匹配项必须加上g标志。这个坑我踩过不止一次做配置批量修改的时候以为都替换完了结果检查文件发现每行只改了一个剩余的还在原地。所以养成习惯但凡是做全局替换顺手就把g带上。2.2 寻址方式精确控制sed命令的作用范围没有地址限定时sed 的命令会应用到所有行。但实际工作中我们经常只关心某几行这就需要深入理解寻址Addressing机制。寻址有几种常见形式我逐一说明。第一种是行号寻址。sed 3d file表示删除第三行。这里d是删除命令结果是这一行不会被输出。还可以用3,8d删除第三到第八行或者用3,$d表示从第三行删到最后一行$是文件末尾的标记。第二种是正则寻址也叫模式寻址。希望所有包含某个关键词的行执行命令不管它位于第几行。比如sed /ERROR/d app.log作用是删除所有包含 ERROR 字符串的行。反过来如果我只想保留包含 ERROR 的行其他都删掉可以写成sed /ERROR/!d app.log这里的!表示取反意思是“不匹配 ERROR 的行执行删除”。第三种是范围寻址它是正则和行号的混合体非常强大。比如sed /BEGIN/,/END/d file会从匹配 BEGIN 的那一行开始一直删除到匹配 END 的那一行包括这之间的所有内容。这个技巧在处理多行配置块时特别好用比如想删掉一个 nginx 配置里某个 server 块因为每个 server 的长度可能不一样用行号根本无法准确定位但用起止关键词就能轻松搞定。这里有一个细节值得多说一句范围寻址的匹配是“惰性”的第二个正则不是从第一个匹配位置的下一步开始全局搜索而是在找到第一个模式后从那一行继续向后逐行找第二个模式。这符合直觉但如果你不知道这个机制可能会对某些跳过行为感到困惑。2.3 插入、追加与修改不只是替换很多人以为 sed 只能做替换其实增删改它样样精通。常用的有三个命令aappend在匹配行后追加、iinsert在匹配行前插入、cchange把匹配行整体替换为新内容。命令的基本写法是sed /pattern/a 这是新加的一行 file。注意a后面有一个空格然后是你想插入的文本。很多人在这里容易踩坑如果多行的话需要用反斜杠\来连接换行比如sed /needle/a line1\nline2 filec命令的作用则是整个替换匹配行。比如sed 2c text就是把第二行换成 text 这个新内容。如果指定了一个范围sed 1,3c newtext它会用一行新的文本替换掉这三行而不是每一行都替换这个行为也要留意。在开发中我经常用这个方法往配置文件里批量注入配置段。比如给所有虚拟主机配置块的顶部统一加上同一条安全规则正好可以利用插入命令配合范围寻址完成比手动一个个打开文件编辑要快太多。3. 高级模式与真实场景的实战运用3.1 灵活运用行缓冲与模式空间实现批量提取前面提到过模式空间它是 sed 处理单行文本时的缓存区。但 sed 还有一个更厉害的内存区域叫做保持空间Hold Space可以把它理解为额外的剪贴板。虽然单看它的文档说明很容易让人一头雾水但一旦弄明白它的作用你的 sed 水平会直接上一个台阶。保持空间和模式空间之间有几个关键的指令h是把当前模式空间的内容复制到保持空间H是追加而不是覆盖g是把保持空间的内容复制回模式空间G则是追加的方式合并。N 和 P 指令也常配合使用N会把下一行内容追加到当前模式空间中形成多行缓冲P则只打印模式空间的第一部分。这些命令组合在一起能实现非常灵活的多行处理。举个例子有一个需求每三行合并成一行并用逗号分隔。用 sed 实现就是sed N;N;s/\n/,/g file。这里的思路是先把两行内容通过N追加进模式空间此时模式空间里有两行内容再用s命令把换行符替换成逗号。这个技巧在很多数据清洗场景里很实用。再比如当你想提取一个日志文件里某个事件发生后的五秒钟内的所有日志单靠简单的替换命令就很难做到因为你必须在时间戳之间做比较。虽然 sed 无法做算术运算但你可以通过保持空间暂存第一行时间戳然后用正则判断后续行是否匹配某个时间范围。这样的写法逻辑上比较绕但确实是 sed 能独立完成的工作。3.2 面向真实场景批量修改配置、日志清洗与时间戳转换平时在服务器上干活遇到最多的就是批量改配置。比如某个应用迁移了目录需要把配置文件里所有/var/www/old替换成/data/app而且这些配置分布在几十个文件里。这种场景用 sed 配合 find 基本就是标准答案find /etc/app/ -type f -name *.conf -exec sed -i s#/var/www/old#/data/app#g {} \;这里我用了-i选项这是 GNU sed 里直接修改文件内容的关键参数。-i后面可以跟一个后缀来生成备份文件比如-i.bak它会在修改之前把原始内容复制一份为.bak文件。这是一个非常安全的习惯尤其是当你对某个文件不是百分之百确定、需要在改完之后核对 diff 的时候有备份就意味着有后悔药。我自己的习惯是批量操作任何重要配置之前一定加.bak后缀操作完成后确认无误再执行删除备份的清理命令。日志清洗场景最常见的就是从原始访问日志中提取指定时间段的流量信息。比如我经常用sed -n /2024-05-18 10:00/,/2024-05-18 10:05/p access.log来查看某个五分钟窗口内产生的日志。这里我顺带把-n选项的含义讲明白正常情况下 sed 会自动打印每一行而加上-n之后它取消了自动打印我们只看到用p命令显式打印出来的内容。这个组合是查看文件局部内容最有效的命令模式。对于日志字段比较多想截取其中某部分内容的需求也可以直接用 sed 的替换命令提取。我在处理生产环境日志时最常用的就是从 JSON 格式日志里摘出某个字段的值整条命令可能长这样sed -n s/.*user_id:\([0-9]*\).*/\1/p app.log这行的思路很直接-n禁止自动输出s把整行替换成捕获到的 user_id 数值最后p把替换后的内容打出来。这样就从行内精准提取了用户ID。虽然杀鸡用牛刀但胜在速度快性能开销极低。3.3 常用的多命令执行和脚本文件组织方式有时候需求复杂单条命令处理不了全部流程这时候就需要在 sed 里执行多条命令。两种常见写法一是用分号分隔比如sed s/foo/bar/; s/baz/qux/二是用-e选项多次指定命令比如sed -e s/foo/bar/ -e /baz/d。分号方式适合简短命令-e方式读起来更清晰尤其是每条命令都比较长的时候。如果命令实在太多更推荐把命令写进一个脚本文件然后用sed -f script.sed来调用。这个脚本文件的好处是逻辑集中可复用性强哪天想对另一个文件做同样的处理就不用重新写一遍命令了。我们在处理复杂的数据上报任务时就是把一套清洗规则沉淀成了脚本每天定时任务直接调用它特别稳定。不过这里要提醒一句sed 脚本文件和标准 Shell 脚本不一样它不是简单的一行一条命令让 Shell 来执行而是所有行默认都是 sed 命令每一条都会作用于模式空间的当前内容。你可以在脚本里用花括号{}把命令集组合起来比如3,5{s/foo/bar/; s/baz/qux/}表示对第 3 到 5 行进组命令。如果你的脚本里直接写了/pattern/d它就删掉匹配行不会像 Shell 一样尝试解释执行。4. 常见问题排查与避坑技巧实录4.1 那些年我遇到过的sed坑一次讲清楚先用一张速查表把最常踩的坑列清楚再逐个细说常见问题原因解决方案替换后没有变化忘记加g只替换了每行第一个匹配加上g标志输出出现双倍行地址匹配配合p命令时默认打印还在生效加-n参数禁用自动打印修改文件后内容丢失直接-i且无备份修改逻辑写错使用-i.bak生成备份再操作变成了一串数字替换内容里误用了未转义的需要输出字面量时写成\正则有心匹配却匹配不上把扩展正则语法用在了基础正则模式里按需添加-E或转义元字符报 “unknown option to s”替换内容里含有与分隔符相同的字符且未处理换一个鲜少出现的分隔符如#第一件要说的就是-i备份的习惯。我见过不止一个同事因为写了错误的替换表达式又把-i直接加上结果整个配置文件直接变得面目全非而且连备份都没有只能靠版本管理工具恢复。如果你是直接在服务器上处理而没有版本控制兜底的环境一定养成-i.bak的肌肉记忆。命令执行之后先用diff查看改动是否符合预期再决定是否把备份删掉。这个过程多花十几秒却能避免几十倍的损失。第二个是行尾回车符的问题。从 Windows 环境传到 Linux 的文件每行后面通常带着\r这在输出时表面看不出来但会严重影响正则匹配。比如$在正则里表示行尾可是实际行尾还有一个隐藏的\r导致你在匹配行尾内容时全军覆没。这种情况我的处理办法是先用sed -i s/\r$//把回车符清掉再做后续处理。这类问题在日志导出和数据迁移场景里特别常见一定要有这个警惕心。第三个问题是性能。虽然 sed 是流式处理理论上非常快但如果你在一个超大文件上执行了很多条复杂的正则表达式速度可能还是会慢。这背后通常不是因为 sed 本身低效而是正则在回溯时计算量爆炸。如果发现单条 sed 命令跑得特别慢可以试试把正则写得更加精确比如把.*这种贪婪匹配改成[^]*这种确定性的字符类性能往往立竿见影。能省则省毕竟生产环境的时间就是钱。4.2 处理正则中特殊字符的注意事项正则本身已经够复杂了更别提在正则里处理那些既有语义、又想当普通字符输出的内容。最典型的就是我前面提到过它在替换内容部分是“整个匹配文本”的通配符。如果你要在替换结果里输出一个真正的与符号必须写成\。举个例子想把每一行外面加上引号并保留原内容可以写sed s/.*//这里的会被替换成匹配到的原行内容。但如果你的需求是在每一行后面加上end就必须写成s/.*/\end/把后一个与符号转义。再比如说反斜杠本身在正则和替换里都容易引发混乱。如果我需要把文本里的\替换成/比较稳妥的写法是sed s/\\/\//g。虽然看起来很难看但只要你记住一条在 sed 命令里反斜杠默认就是转义符号所以想要表示一个真实的反斜杠你必须在前面再写一个反斜杠来取消它的特殊含义。这种转义地狱在同时碰到路径和正则时特别容易让人头疼我的经验是能少用就少用宁可先拆成两步做也不要强行写一条天书一样的命令然后调试半小时。4.3 与find、grep、awk组合使用的经验心得sed 单独用有它的威力但真正的高手从来不会孤立使用某个命令而是把 sed、grep、awk、find 当成一套完整的工具箱。我在处理日志分析任务时最典型的组合就是先用 grep 做粗过滤再用 sed 提取字段最后用 awk 做统计汇总。比如统计某天每个接口的访问量可以先从一个原始访问日志文件里用 grep 把当天的请求捞出来再用 sed 剥掉时间戳和多余的字段只留下 URL最后通过 sort 和 uniq 来完成统计。每一条命令各管一环整个流程清晰且非常便于在脚本里维护。这里有另一个关于 sed 和 awk 的选型感受当你的处理逻辑是“按行改内容”时优先考虑 sed当逻辑是“按列做统计”时awk 更适合。两者不是竞争关系而是互补的。比如需要按某个字段对数据分组求和用 sed 做会非常别扭而用 awk 只需一行awk -F, {sum[$1]$2} END {for (k in sum) print k, sum[k]}就完成了。可如果你想在 awk 之前先统一把文本里的空行清理干净那么 sed 就是最顺手的前处理器。还有一个我常用的技巧就是结合find和xargs对一批文件做统一处理。当然如果文件数量不是特别大用find ... -exec sed -i ...的语法更安全因为它不需要考虑文件名里包含空格这种特殊情况。但如果你处理的是一批名称很规矩的文件find ... | xargs sed -i的效率会更高一些。关键在于无论文件多少只要有批量修改需求我都建议先取一个小数据集执行一遍命令肉眼核对输出无误后再对全部文件运行正式版。4.4 多行模式与保持空间的实用笔记前面介绍保持空间的时候我只举了一个多行合并的例子这里再展开几个我在实践中觉得实用的玩法。一是“正则跨行替换”。sed 默认是逐行处理所以如果要匹配的内容跨越两行以上直接用普通命令会失效。假设我有如下文本start hello world end想把 start 和 end 之间的hello\nworld替换成HELLO WORLD单靠s命令做不到需要灵活运用N和替换。一种常见写法是sed /start/{N;N;s/hello\nworld/HELLO WORLD/}。先匹配到 start 行然后连续用N把后面两行都收纳进模式空间此时模式空间里是start\nhello\nworld再执行替换就能命中多行结构了。虽然这种写法的通用性有限但当你确实遇到这类跨行处理需求时你至少知道 sed 不是完全无计可施。二是利用保持空间实现“倒序打印”。sed -n 1!G;h;$p file是一个经典的冷知识脚本。逻辑是从第一行开始每一行先通过1!G把保持空间的内容追加到模式空间再用h把当前模式空间整体覆盖到保持空间最后一行用$p打印出来。这个过程的每一步都在“把前面的内容不断往当前行下方堆积”最终实现全部行反序输出。说实话这种命令我会写但每次用之前都得在脑子里模拟好几遍否则很容易把自己绕晕。把它当作业余练习理解机制用即可实际工作中直接tac命令会更高效。不过这番理解对掌握模式空间与保持空间的配合帮助极大。三是在处理像 HTML 这类具有闭标签的结构化文本时范围寻址往往比多行处理更简单。比如sed /div/,/\/div/d就能一次删除一对 div 标签之间的所有内容。这不完全是跨行处理但它却能让 sed 在多行结构面前保持优雅。虽然它的匹配是贪婪的但如果你想精确控制起始和结束位置依然可以通过更具体的正则限定极大提高整个命令的准确度。4.5 可视化校验与安全操作的良好习惯最后再聊一个非常实用的操作习惯永远先用不带-i的命令跑一遍观察输出是否完全符合预期再决定是否真正写入文件。我自己的习惯是分两步走sed s/foo/bar/g file直接打印到终端检查确认无误后再执行sed -i s/foo/bar/g file写入。这样能避免绝大多数因为表达式写错导致的批量事故。如果你处理的文件特别大直接打印到终端会刷屏可以配合head或tail来看首尾部分比如sed s/foo/bar/g file | head -50只看前五十行的改动是否符合预期。另外一个好习惯是在修改系统级配置文件之前先cp一份到/tmp作为备份。即便 sed 本身的-i.bak已经做了备份/tmp里的副本也能让你在极端情况下拿回最原始的状态。这几层保险叠起来基本万无一失。5. 基于实战的操作流程全记录我觉得与其堆砌理论不如完整还原一个我近期处理过的小任务把所有命令串起来演示一遍。假设我需要批量处理一批 Nginx 访问日志做三件事把所有/assets/路径的请求单独摘出来、把每行末尾的\r清理干净、最后按状态码统计数量。整个过程我就是这样做的第一步先用grep过滤出包含/assets/的行输出到一个临时文件grep /assets/ access.log assets_only.log第二步清理临时文件里的回车符并顺带去掉一些无用的引号sed -i s/\r$//; s///g assets_only.log第三步用 awk 对状态码做统计。因为状态码通常是最后一个字段用 awk 提取打印即可awk {print $NF} assets_only.log | sort | uniq -c这个流程如果不用 sed其他方式要么需要写复杂的脚本要么手工处理效率极低。把 sed 放进流水线里逻辑十分顺畅先选、再改、后统。每一条命令都极其简洁组合起来却能解决一个完整的小需求。在真实的生产环境里我还会把每一步的命令最终通过 Shell 脚本固化下来然后在定时任务里跑。这种方式最大的好处是脚本本身既是执行的逻辑又是操作的文档。过了一个月你回头再看一行行命令清清楚楚不需要回忆当初做了什么决策。如果哪天数据格式变了只需要修改脚本里的某一条正则不用动整体框架维护成本极低。从个人经验来说sed 的知识点本身不多但它的组合能力极其丰富。它不是那种你“看懂了”就等于“会用了”的命令而是必须经过真实业务锤炼才能真正内化为本能。就像学开车一样手册背得再熟也不如实际开到路上积累车感。我一直建议想认真掌握 sed 的读者不要光看文档而是尝试把你平时在 Excel 里做的重复清洗操作尽量用 sed 和管道来完成。用的次数多了你会发现这些命令逐渐变成下意识的选择再也不会觉得文本处理是一件麻烦事了。最后再分享一个小技巧给自己准备一个常用的 sed 短命令笔记把自己写过的、验证过的复杂用法记录下来。我的笔记文件里到现在还有好多条看似简单但调试很久的用法例如用sed -n 1,20p代替head -20用sed -n 100,200p查看文件中间某段内容。这些看似微小的技巧在频繁处理日志和配置的时候真的能帮你节约大量时间。