简介这份资源面向计算机专业学生与编译原理初学者聚焦词法分析器设计这一编译器构建的基础环节帮助读者用C语言完成从理论到代码的落地实践。压缩包共3个文件约86KB包含一份cpp源代码、一份docx实验报告和一份txt源程序测试文件cpp文件实现输入处理、标记定义、词法规则与错误处理等核心逻辑docx记录实验目的、步骤、结果及问题解决方案txt则提供变量声明、算术表达式、控制结构等测试输入便于全面验证扫描器功能。目前已有2170人学习下载适合作为课程实验参考或自学编译技术的入门案例。通过阅读代码与报告读者可理解关键字、标识符、常量、运算符等标记的识别流程掌握状态机或正则思路在词法分析中的应用并借鉴错误恢复与测试设计方法为后续语法分析等实验打下扎实基础。1. 词法分析器到底在做什么从一段 C 代码被“切碎”说起很多人第一次拿到「编译原理实验一——词法分析器的设计C语言版」这个题目时脑子里是懵的编译器那么复杂我一个本科生/自学者真能写出来能。而且词法分析器是整个编译链路里最适合动手的第一站——它不依赖语法树、不涉及寄存器分配输入是一串字符输出是一串带类型的记号Token逻辑闭环短调试反馈快。你写完之后会第一次真切感受到“原来编译器前端是这么把int a 10;拆成关键字 int、标识符 a、赋值号 、整数 10、分号 ;的”。这篇笔记就围绕这个实验把设计思路、C 语言实现、参数边界和常见翻车点一次讲透适合正在做编译原理实验、或者想用 C 语言练手一个完整小系统的人。2. 词法分析器的设计骨架状态机、缓冲区与 Token 结构2.1 为什么词法分析器本质是一个有限状态自动机词法分析器的核心任务只有一句话从左到右扫描源程序字符流按照构词规则识别出一个个单词符号。构词规则用正规式描述而正规式等价于有限状态自动机DFA/NFA所以词法分析器的天然实现模型就是状态机。你不需要在代码里显式写一个状态转移表但脑子里必须有这张表当前读到什么字符、处于什么状态、下一步该转移到哪、什么时候算一个 Token 结束。以识别标识符为例规则是“字母或下划线开头后跟字母、数字或下划线”。对应状态只有两个起始状态遇到字母/下划线进入“标识符中间态”在中间态继续读字母/数字/下划线就留在中间态读到其他字符就回退一个字符并输出标识符 Token。这个“回退一个字符”是词法分析器最容易被忽略的细节——因为你多读了一个不属于当前 Token 的字符必须把它还给输入流否则下一个 Token 就会丢首字符。常见做法是用一个全局的字符缓冲区加一个指针pos配合getch()和retract()两个函数实现预读与回退。getch()读下一个字符并推进posretract()把pos回退一格。这样状态机在判断 Token 结束时先getch()看一个字符发现不属于当前 Token再retract()退回去逻辑就干净了。2.2 Token 结构体怎么定义才够用又不臃肿Token 至少需要两个字段种别码token type和属性值attribute。种别码用枚举表示比如关键字、标识符、整数、运算符、界符、结束符。属性值对于标识符是它名字的字符串对于整数是它的数值。很多实验要求里还会让你输出行号方便后续报错定位所以建议再加一个line字段。typedef enum { TOKEN_KEYWORD, // 关键字如 int, if, while TOKEN_ID, // 标识符 TOKEN_NUM, // 整数常量 TOKEN_OP, // 运算符如 - * / TOKEN_DELIM, // 界符如 ; , ( ) { } TOKEN_EOF // 输入结束 } TokenType; typedef struct { TokenType type; // 种别码 char lexeme[64]; // 单词原文标识符/关键字/数字都存这里 int value; // 如果是数字存数值 int line; // 所在行号 } Token;这里lexeme用固定长度数组而不是动态分配是为了避免在实验阶段引入内存管理的复杂度。64 字节对绝大多数实验输入足够如果你要处理超长标识符改成char *加strdup也行但记得释放。value字段只在TOKEN_NUM时有意义其他类型可以忽略。行号字段在遇到换行符\n时递增这样报错时能直接指出“第几行第几个字符附近有问题”。2.3 关键字表与符号表的初始化关键字是特殊的标识符——它们满足标识符的构词规则但被语言保留。识别策略有两种一种是在状态机里单独为关键字写分支另一种是先按标识符规则读出来再查关键字表。后者更简洁也是我一般会用的方式。关键字表就是一个字符串数组查找时线性比较即可实验规模下关键字不超过 40 个线性查找完全够用。const char *keywords[] { int, char, float, void, if, else, while, for, return, break, continue, do, switch, case, default, const, static, struct, typedef }; const int keyword_count sizeof(keywords) / sizeof(keywords[0]); int is_keyword(const char *s) { for (int i 0; i keyword_count; i) { if (strcmp(s, keywords[i]) 0) return 1; } return 0; }符号表在词法阶段其实不是必须的但很多实验要求里会提到“把标识符填入符号表”。如果你要做最简单的符号表就是一个结构体数组每个元素存名字和首次出现行号插入前先查重。这一步不是词法分析的核心但做了会让整个实验更完整也方便后续语法分析阶段直接复用。3. 用 C 语言把词法分析器跑起来从读文件到输出 Token 流3.1 输入缓冲与字符读取函数词法分析器的输入通常是一个.c源文件。用fopen打开fread一次性读入缓冲区比逐字符fgetc效率高也方便实现回退。缓冲区大小可以设 8192 或 16384实验代码足够。读入后维护一个pos指针getch()返回当前字符并posretract()则pos--。#define BUF_SIZE 16384 static char buffer[BUF_SIZE]; static int pos 0; static int length 0; static int line 1; int getch(void) { if (pos length) return EOF; char c buffer[pos]; if (c \n) line; return (unsigned char)c; } void retract(void) { if (pos 0) { pos--; if (buffer[pos] \n) line--; } }注意getch返回int而不是char因为EOF通常是 -1用char会截断导致判断失效。这是 C 语言文件读取的经典坑后面避坑章节还会展开。line在getch里递增、在retract里递减保证回退时行号也回退否则报错行号会偏。3.2 跳过空白与注释在正式识别 Token 之前要先跳过空白字符空格、制表符、换行和注释。空白直接getch循环丢弃即可。注释分两种//单行注释和/* */多行注释。单行注释读到换行结束多行注释读到*/结束。多行注释里如果遇到文件结束还没闭合要报错“注释未闭合”。void skip_whitespace_and_comments(void) { int c; while ((c getch()) ! EOF) { if (c || c \t || c \n || c \r) { continue; } else if (c /) { int next getch(); if (next /) { while ((c getch()) ! EOF c ! \n); } else if (next *) { int prev 0; while ((c getch()) ! EOF) { if (prev * c /) break; prev c; } if (c EOF) { printf(Error: unterminated comment at line %d\n, line); } } else { retract(); // 不是注释把 / 退回 retract(); // 把 next 也退回 return; } } else { retract(); return; } } }这里有个细节读到/之后又读了一个字符判断是不是注释如果不是需要把两个字符都退回。很多初学者只退一个导致/被吞掉后面的除法运算符就识别不出来了。这个 bug 很隐蔽因为单独测试/时可能正常一旦和注释逻辑混在一起就翻车。3.3 识别标识符与关键字标识符识别是状态机最典型的应用。首字符必须是字母或下划线后续字符可以是字母、数字或下划线。读到不满足条件的字符就回退然后把收集到的字符串拿去查关键字表决定是TOKEN_KEYWORD还是TOKEN_ID。Token scan_identifier_or_keyword(void) { Token tok; tok.line line; int i 0; int c getch(); while (isalnum(c) || c _) { if (i 63) tok.lexeme[i] (char)c; c getch(); } tok.lexeme[i] \0; retract(); // 多读了一个字符退回 if (is_keyword(tok.lexeme)) { tok.type TOKEN_KEYWORD; } else { tok.type TOKEN_ID; } return tok; }isalnum和isalpha来自ctype.h注意它们对unsigned char才安全传负数比如char为有符号时的扩展字符是未定义行为。实验输入一般是 ASCII问题不大但养成(unsigned char)c转换的习惯没坏处。i 63的限制防止缓冲区溢出超出部分截断实际实验里几乎不会触发。3.4 识别整数与运算符整数识别比标识符简单首字符是数字后续继续读数字直到非数字字符回退。把字符串转成整数用atoi或strtol。运算符和界符可以用一个switch直接映射单字符运算符如 - * / !直接返回对应 Token双字符运算符如 ! 需要预读一个字符判断。Token scan_number(void) { Token tok; tok.type TOKEN_NUM; tok.line line; int i 0; int c getch(); while (isdigit(c)) { if (i 63) tok.lexeme[i] (char)c; c getch(); } tok.lexeme[i] \0; retract(); tok.value atoi(tok.lexeme); return tok; } Token scan_operator(int first) { Token tok; tok.line line; tok.lexeme[0] (char)first; tok.lexeme[1] \0; int second getch(); if ((first || first ! || first || first ) second ) { tok.lexeme[1] ; tok.lexeme[2] \0; } else { retract(); } tok.type TOKEN_OP; return tok; }scan_operator接收已经读到的第一个字符再预读第二个字符判断是否构成双字符运算符。如果不是回退第二个字符。这样和、和都能正确处理。注意!单独出现时在 C 语言里是逻辑非也是运算符所以!和!都要覆盖。3.5 主循环与 Token 输出主循环不断调用skip_whitespace_and_comments然后根据当前字符分派到不同的扫描函数直到EOF。每得到一个 Token 就打印出来格式可以是种别码, 单词原文这是编译原理实验最常见的输出要求。void tokenize(void) { int c; while (1) { skip_whitespace_and_comments(); c getch(); if (c EOF) { printf(EOF, -\n); break; } Token tok; if (isalpha(c) || c _) { retract(); tok scan_identifier_or_keyword(); } else if (isdigit(c)) { retract(); tok scan_number(); } else { tok scan_operator(c); } printf(%d, %s\n, tok.type, tok.lexeme); } }分派逻辑里标识符和数字都是先retract()再调用扫描函数因为扫描函数自己会getch()读首字符。运算符则直接把已读的字符传进去。这个统一模式让主循环很清晰。输出格式里%d打印种别码实际实验可能要求打印种别名称改一个映射函数即可。4. 避坑与排查词法分析器实验里最容易翻车的 5 个点4.1 现象程序读到文件末尾后多输出一个乱码 Token原因getch()返回EOF后主循环没有正确判断或者retract()在EOF时把pos退到了有效范围之外导致再次读取时读到缓冲区里的残留数据。另一个常见原因是char c接收getch()返回值EOF-1被截断成 255判断c EOF永远为假。解决getch()返回类型必须是int所有接收它的变量也用int。主循环里EOF判断放在最前面一旦读到EOF立即break不要再进入任何扫描函数。retract()里加pos 0保护防止越界。4.2 现象标识符识别时最后一个字符丢失原因状态机在读到非标识符字符后没有调用retract()就返回了导致那个“多读的字符”被消耗掉。比如int a;里识别a时多读了;没回退下一个 Token 就从;后面开始分号丢了。解决所有“读到不满足条件才停止”的扫描函数在退出循环后必须retract()一次。这是词法分析器的铁律。可以在代码里加注释提醒自己或者封装一个finish_token()函数统一处理回退。4.3 现象注释里的内容被当成 Token 输出原因skip_whitespace_and_comments里对//和/* */的处理不完整比如/* */嵌套时只处理了第一层或者//注释没有读到换行就返回了。还有一种情况是/后面跟的不是/或*回退逻辑写错把/吞了或者把后面的字符吞了。解决单行注释必须读到\n或EOF才结束。多行注释用一个prev变量记录前一个字符检测*/组合。非注释情况下/和预读的字符都要回退确保除法运算符能被正确识别。测试用例里一定要包含a b / c;和// comment以及/* comment */三种情况。4.4 现象行号在回退后错乱报错定位不准原因getch()里遇到\n递增行号但retract()回退时没有递减。如果回退的字符正好是换行符行号就多了一行。另一种情况是retract()被连续调用多次行号只减了一次。解决retract()里检查buffer[pos]是否为\n是则line--。保证getch和retract对行号的操作严格对称。测试时故意在标识符后面跟换行看行号是否准确。4.5 现象关键字被识别成标识符原因关键字表里漏了某个关键字或者is_keyword比较时大小写不一致。C 语言关键字全小写如果输入里出现Int按规则应该是标识符而不是关键字这是正确的。但如果int被识别成标识符就是关键字表的问题。解决对照 C 语言标准关键字列表逐一核对确保int、char、if、else、while、for、return等都在表里。is_keyword用strcmp精确匹配不要用strcasecmp因为 C 语言区分大小写。测试用例里把每个关键字都写一遍确认输出种别码正确。5. 进阶技巧用表驱动法重构扫描循环以及怎么验证你的词法分析器5.1 把 if-else 分派改成函数指针表当 Token 类型增多时主循环里的if-else if会越来越长。一个更优雅的做法是用函数指针数组按首字符分类。比如首字符是字母或下划线就调用scan_identifier_or_keyword是数字就调用scan_number其他就调用scan_operator。这样主循环只有三行分派逻辑扩展时只需改表。typedef Token (*ScanFunc)(int first); Token scan_dispatch(int c) { if (isalpha(c) || c _) { retract(); return scan_identifier_or_keyword(); } else if (isdigit(c)) { retract(); return scan_number(); } else { return scan_operator(c); } }这个重构不改变行为但让代码更清晰。如果你后续要加字符串常量、浮点数、字符常量只需在scan_dispatch里加分支主循环不动。这是我在实际项目里常用的手法把变化点集中到一个函数其他部分保持稳定。5.2 用一组边界用例验证词法分析器写完词法分析器后不要只跑一个hello world就完事。准备一组覆盖边界的测试文件逐个检查输出。下面这张表是我一般会用的验证清单测试场景输入示例期望输出关键字与标识符混合int mainKEYWORD, intID, main双字符运算符a bID, aOP, ID, b单字符运算符a bID, aOP, ID, b单行注释// test无 Token 输出多行注释/* test */无 Token 输出注释未闭合/* test报错 unterminated comment数字与标识符边界123abcNUM, 123ID, abc行号准确性多行输入每个 Token 行号与源文件一致123abc这个用例特别值得注意按 C 语言规则123abc应该被拆成数字123和标识符abc而不是一个非法 Token。你的扫描函数在读到a时发现不是数字回退输出123然后下一轮从a开始识别标识符。这个行为要验证。5.3 一个我踩过的坑缓冲区大小与超长行早期我用固定 256 字节的缓冲区读文件遇到一行超过 256 字符的代码就截断导致 Token 流莫名其妙少了一段。后来改成 16384 字节并且用fread一次性读入问题消失。如果你的实验输入可能包含很长的字符串或注释缓冲区要留够。另一个做法是动态分配但实验阶段没必要。还有一次我在scan_identifier_or_keyword里用while (isalnum(c) || c _)循环但忘了在循环前getch()读首字符导致首字符被跳过。这个 bug 的表现是“所有标识符都少第一个字母”比如main变成ain。排查时打印每次getch的字符就能快速定位。血泪经验扫描函数入口处一定要明确“首字符是否已经读入”并在注释里写清楚。5.4 验证方法用已知编译器对比 Token 流最可靠的验证方式是拿一段 C 代码分别用你的词法分析器和gcc -E预处理后或clang -Xclang -dump-tokens对比。clang -Xclang -dump-tokens -fsyntax-only test.c会输出每个 Token 的位置和类型你可以逐行对照。虽然格式不同但 Token 的切分边界应该一致。如果发现你的输出里某个 Token 和 clang 不一致那就是你的构词规则有问题。这个对比方法能发现很多隐蔽 bug比如ab应该被切成ab还是ab。C 语言采用“最长匹配”原则会先匹配再匹配。你的扫描函数如果先匹配单字符就会切错。用 clang 对比一次这个问题立刻暴露。写词法分析器这件事我最大的体会是不要一上来就追求大而全先把标识符、数字、运算符、关键字四类跑通再逐步加注释、字符串、浮点数。每加一个特性就补一组测试用例。这样出问题时你知道是哪个特性引入的。希望帮到你。本文还有配套的精品资源点击获取