简介本资源是西安电子科技大学《编译原理》课程的上机实践报告面向计算机专业本科生及编译技术初学者聚焦编译器前端词法/语法分析与数据库管理系统DBMS的交叉实现解决理论知识向系统级工程能力转化的关键训练需求。报告完整呈现了基于LexFlex与YaccBison构建词法分析器和语法分析器的过程并延伸至简易DBMS的物理结构设计与核心功能实现含建库、建表、增删改查、索引与事务基础附有详细实现方案、工具环境说明VC6.0、Generator、正规式代码片段及上机心得反思。压缩包为单个82KB的Word文档.doc结构清晰含项目概况、编译部分、DBMS部分、总结四大模块目录层级完整便于按需精读关键章节。已有1331人学习下载适合用于课程复习、实验参考、编译原理综合实践复盘及DBMS原理入门拓展。1. 这不是一份交差报告而是一个能跑通的 SQL 编译器原型从CREATE TABLE t(id INT)到语法树打印全程用 Lex/Yacc 手搓零 runtime 依赖你有没有试过在终端里敲下SELECT * FROM users WHERE age 25;回车后不进 MySQL而是看到一行清晰的Operation is ok再加一棵用缩进画出来的语法树这不是 demo 视频是这份 2011 年西安电子科技大学《编译原理》上机报告里真实跑通的代码。它没实现存储引擎、没连磁盘文件、没做查询优化——但它完整走通了「用户输入 → 词法切分 → 语法归约 → AST 构建 → 语义动作触发」这条最硬核的编译链路。项目由一人独立完成所有.l/.y文件、main()入口、甚至mylexer.h头文件都打包在源码包里。它适合两类人刚学完 LL/LR 理论但卡在“怎么让 yacc 真正吐出树”的学生以及想快速验证一个轻量级 DSL 解析器骨架的工程师——你不需要重写整个 DBMS只要把select_st规则里的printf(Operation is ok\n)换成调用你的内存表引擎它立刻就能变成你项目的解析层。别被标题里的“报告”二字骗了这是一份带完整可执行路径的工程快照不是作业扫描件。2. 环境复现与构建流程VC6.0 ParserWizard 生成器如何绕过年代陷阱跑通老代码提示本项目原始环境为 Windows VC6.0 ParserWizard非开源商业工具但现代开发无需还原古董环境。我们用 flex/bison MinGW-w64 完全等价替代且已验证兼容性。2.1 工具链映射ParserWizard 生成的.l/.y文件如何对接现代 GNU 工具链原始报告中提到使用 “Generator 和 VC6.0”其中 Generator 实指 ParserWizard —— 一款 2000 年代初流行的图形化 Lex/Yacc 代码生成器。它生成的.l词法文件和.y语法文件本质仍是标准 Lex/Yacc 语法但存在三处关键差异头文件引用路径#include myparser.h在 ParserWizard 项目中自动生成现代需手动创建YACC 属性类型定义冲突原始.y中#define YYSTYPE int与 flex/bison 默认YYSTYPE类型不匹配空产生式写法sts: sts st {…} | /* empty */ ;中的是 ParserWizard 的占位符需替换为;。我们采用的现代替代方案是✅ 使用flex 2.6.4替代mylexer.l的 lex 引擎✅ 使用bison 3.8.2替代myparser.y的 yacc 引擎✅ 用MinGW-w64 (x86_64-12.2.0-release-win32-seh-rt_v10-rev1)编译 C 代码✅ 所有头文件mylexer.h,myparser.h,define.h均从报告附录反向还原并补全2.2 五步构建流程从源码包到可执行parser.exe假设你已解压源码包目录结构如下dbms_parser/ ├── mylexer.l # 词法规则 ├── myparser.y # 语法规则 ├── main.c # 主程序入口报告中第10页 ├── define.h # token 定义需补全 ├── mylexer.h # lexer 接口声明需补全 └── myparser.h # parser 接口声明需补全Step 1补全头文件define.h这是 token 常量定义中心必须与.l和.y中return XXX;严格一致// define.h #ifndef DEFINE_H #define DEFINE_H // 关键字 token #define CREATE 257 #define DATABASE 258 #define DATABASES 259 #define USE 260 #define SHOW 261 #define TABLE 262 #define TABLES 263 #define SELECT 264 #define DELETE 265 #define INSERT 266 #define VALUES 267 #define UPDATE 268 #define DROP 269 #define EXIT 270 #define INT 271 #define CHAR 272 #define AND 273 #define OR 274 #define WHERE 275 #define INTO 276 #define SET 277 #define FROM 278 #define NULLX 279 #define NE 280 // 运算符 分隔符 #define SEMICOLON 281 #define COMMA 282 #define LPAREN 283 #define RPAREN 284 #define ASTERISK 285 #define GT 286 #define LT 287 #define EQ 288 // 字面量 token #define NUMBER 289 #define ID 290 #define Name 291 #endifStep 2生成 lexer 和 parser 源码在dbms_parser/目录下执行# 生成词法分析器 C 文件 flex -o mylexer.c mylexer.l # 生成语法分析器 C 文件启用纯解析器模式避免线程安全问题 bison -d -o myparser.c myparser.y注意bison -d会生成myparser.h含yylval类型声明和 token 定义因此你无需手写该头文件——但需确认myparser.h中#define YYSTYPE int存在否则后续编译报错。Step 3修正main.c中的 include 路径与初始化逻辑原始main.c报告第10页中mylexer lexer; myparser parser;是 ParserWizard 封装类现代 flex/bison 需改用全局函数接口。替换为标准 C 主函数// main.c #include stdio.h #include myparser.h // bison 生成 #include define.h extern int yyparse(void); extern int yylex(void); int main(int argc, char *argv[]) { printf(DBMS Parser v0.1 — 输入 SQL 语句以分号结束如: CREATE TABLE t(id INT);\n); printf(输入 EXIT; 退出。\n\n); int result yyparse(); if (result 0) { printf(✅ 解析成功。\n); } else { printf(❌ 解析失败请检查语法。\n); } return result; }Step 4编写 Makefile 统一构建避免手动记命令创建MakefileCC x86_64-w64-mingw32-gcc CFLAGS -Wall -Wextra -stdc99 LEX flex YACC bison all: parser.exe parser.exe: main.o mylexer.o myparser.o $(CC) $(CFLAGS) -o $ $^ main.o: main.c $(CC) $(CFLAGS) -c $ -o $ mylexer.o: mylexer.c $(CC) $(CFLAGS) -c $ -o $ myparser.o: myparser.c $(CC) $(CFLAGS) -c $ -o $ mylexer.c: mylexer.l $(LEX) -o $ $ myparser.c myparser.h: myparser.y $(YACC) -d -o $ $ clean: rm -f *.o *.c *.h parser.exe .PHONY: all cleanStep 5编译并运行mingw32-make ./parser.exe此时输入CREATE TABLE users(id INT);应输出Operation is ok ✅ 解析成功。说明词法语法双阶段已打通。若报错undefined reference to yywrap在mylexer.l最后添加%% int yywrap() { return 1; }3. 词法分析模块深度拆解从正则规则到 token 流为什么ID和Name必须分设3.1 规则优先级与冲突本质[a-zA-Z][_a-zA-Z0-9]vs[a-zA-Z][_0-9a-zA-Z()\.\*]*原始mylexer.l中这两条规则是核心矛盾点[a-zA-Z][_0-9a-zA-Z()\.\*]* {printf(%s,yytext);return Name;} [a-zA-Z][_a-zA-Z0-9] {return ID;}表面看都是“字母开头字母数字下划线”但第二条更短、更严格不含.*()而第一条允许更多符号。Lex 规则匹配遵循最长匹配 先到先得原则。若不调整顺序users.id会被第一条规则吃掉整个字符串并返回Name导致后续语法分析无法识别.作为字段分隔符。正确做法是把更具体的规则放前面更宽泛的放后面。但此处设计意图明确Name专用于数据库/表名如CREATE DATABASE mydb中的mydbID专用于字段名如CREATE TABLE t(id INT)中的id因此必须强制Name匹配带.的复合名ID只匹配纯标识符。最终规则顺序应为// 1. 先匹配带 . * ( ) 的复合名如 users.id, func(*) [a-zA-Z][_0-9a-zA-Z()\.\*]* {return Name;} // 2. 再匹配纯标识符如 id, name, age [a-zA-Z][a-zA-Z0-9_]* {return ID;} // 3. 数字单独处理避免被 ID 规则截获 [0-9] {yylval atoi(yytext); return NUMBER;}注意原始报告中提到“开始时没有考虑 Name 会将 NUMBER 截获”正是因[a-zA-Z]...规则放在NUMBER前导致123abc被当作文本而非数字。修复后NUMBER规则必须置于所有字母开头规则之前。3.2 关键 token 的语义承载NULLX、NE、SEMICOLON的不可替代性Token原始规则作用说明NULLXNULL {return NULLX;}显式区分 SQLNULL字面量与 C 语言NULL指针避免语义混淆NE! {return NE;}将!作为单个 token 处理而非!两个 token保证比较运算符原子性SEMICOLON; {return ;;}分号是语句终结符st: ... ;语法要求其为独立 token不能合并进其他规则这些 token 在.y文件中直接参与产生式定义例如st: create_st ; // 必须是 SEMICOLON token不能是字符 ; | select_st ; // 否则 yacc 归约失败 ;若在.l中写成; {printf(;); return ;;}虽能输出但yylval未赋值yacc无法获取该 token 的语义值导致st归约时yylval为随机值引发未定义行为。3.3 词法分析器的调试技巧如何定位yytext截断问题当输入SELECT * FROM t;却只识别出SELECT、卡在*报错大概率是*规则未生效。检查.l文件中* {return *;} // ✅ 正确双引号包裹转义星号而非* {return *;} // ❌ 错误* 是正则通配符匹配任意单字符实战调试法在每条规则动作中加入fprintf(stderr, DEBUG: matched %s - %d\n, yytext, token_code);重定向 stderr 查看实际匹配路径./parser.exe 2 debug.log观察日志即可发现哪条规则意外抢跑了。4. 语法分析模块核心实现从产生式到 AST 构建sts → st → create_st的归约链路4.1 文法设计逻辑为什么sts是起始符st为何必须是单语句单元原始文法中sts: sts st {printf(Operation is ok\n);} // 左递归支持多语句 | /* empty */ ; // 允许空输入 st: create_st ; | show_st ; | drop_st ; | ... ;这里sts是 grammar 的 start symbol起始符其设计目的非常务实支持批处理输入如一次粘贴多条 SQLsts归约成功即代表整个输入流无语法错误{printf(Operation is ok\n);}是归约成功钩子不是语义动作仅作调试反馈而st是语句抽象层每个分支对应一种 SQL 动作。这种分层让扩展新语句变得极简单只需新增alter_st ;规则并在st中追加| alter_st ;即可无需动sts。4.2 关键产生式详解create_field的右递归陷阱与修复原始.y中create_field: create_field , field_type | field_type;这是典型的右递归写法会导致CREATE TABLE t(a INT, b CHAR(10), c INT);归约时栈深度随字段数线性增长极端情况触发栈溢出。而 yacc/bison 更倾向左递归效率高、栈安全。应改为create_field: field_type | create_field , field_type;血泪经验某次测试 50 字段表时VC6.0 直接弹窗“stack overflow”换成左递归后秒过。现代 bison 对右递归优化更好但左递归仍是更稳妥的选择。4.3 AST 构建的最小可行方案用printf模拟树形输出原始报告未实现真实 AST 结构体但通过printf缩进模拟了树形结构见报告第11页图示。我们可在st归约时注入层级打印%{ #include stdio.h int indent_level 0; %} // 在每个 st 分支末尾添加缩进打印 create_st: CREATE DATABASE Name { printf(%*sCREATE DATABASE %s\n, indent_level*2, , $3); } | CREATE TABLE Name ( create_field ) { printf(%*sCREATE TABLE %s (\n, indent_level*2, , $3); indent_level; // 此处递归打印 create_field 内容略见下节 indent_level--; printf(%*s)\n, indent_level*2, ); };配合create_field的递归规则即可输出CREATE TABLE users ( id INT name CHAR(20) )这就是最轻量的 AST 可视化——不建 node 结构用缩进表达父子关系对教学和调试足够有效。5. 避坑指南Lex/Yacc 开发中 4 个高频翻车点及现场急救方案5.1 现象yyparse()返回 1但无任何错误提示原因yacc 默认错误恢复机制被禁用或yyerror()未定义。原始myparser.y中未实现yyerror函数导致语法错误时静默失败。解决在.y文件%{...%}区块外、%%上方添加void yyerror(const char *s) { fprintf(stderr, ❌ 语法错误%s位置%d\n, s, yylineno); }并在main.c中声明extern void yyerror(const char *);。同时确保mylexer.l中启用行号计数%{ #include stdio.h int yylineno 1; %} \n { yylineno; } // 每行换行行号15.2 现象输入SELECT * FROM t;*被识别为ID而非ASTERISK原因*规则位置错误。Lex 规则按书写顺序匹配若*规则写在[a-zA-Z]...规则之后则*会被更宽泛的ID规则捕获因*不符合字母开头但*单独出现时[a-zA-Z]...不匹配应轮到*规则——但若*规则缺失或拼写错误就会 fallback 到默认规则。解决确认mylexer.l中存在且仅存在一条* {return *;}且位于所有字母/数字规则之前。用flex -v查看规则匹配优先级flex -v mylexer.l # 输出各规则编号及优先级5.3 现象bison编译报错conflicts: 1 shift/reduce原因文法存在歧义。原始conditions规则conditions: condition | ( conditions ) | conditions AND conditions | conditions OR conditions;此写法导致a AND b OR c归约时AND和OR优先级未声明bison 无法决定先归约a AND b还是b OR c。解决在%{...%}后、%token前添加优先级声明%left AND %left OR%left表示左结合、同级优先级AND优先级高于OR因AND在OR上方。这样a AND b OR c必先归约a AND b。5.4 现象flex生成的mylexer.c编译报错undefined reference to yywrap原因flex 默认期望链接libfl库中的yywrap()函数但项目未链接该库且未提供自定义实现。解决二选一✅ 方案一推荐在mylexer.l文件末尾添加%% int yywrap() { return 1; }✅ 方案二编译时加-lfl参数需系统安装 flex-dev 包gcc -o parser main.o mylexer.o myparser.o -lfl6. 二次开发实战如何把语法分析器接入真实内存表引擎30 行代码改造6.1 改造目标让CREATE TABLE t(id INT);真正创建一张内存表原始项目停留在printf(Operation is ok\n)我们要让它调用真实数据结构。核心思路在 yacc 归约动作中用 C 结构体承载表元信息并注册到全局表字典。6.2 第一步定义内存表结构与全局注册表在main.c顶部添加#include stdlib.h #include string.h // 内存表字段定义 typedef struct { char *name; int type; // 0INT, 1CHAR int size; // CHAR 长度 } Field; // 内存表定义 typedef struct { char *name; Field *fields; int field_count; } Table; // 全局表字典简化版数组上限 10 张表 #define MAX_TABLES 10 Table *tables[MAX_TABLES]; int table_count 0; // 辅助函数创建新表 Table* create_table(const char *name) { Table *t malloc(sizeof(Table)); t-name strdup(name); t-fields NULL; t-field_count 0; return t; } // 辅助函数向表添加字段 void add_field(Table *t, const char *fname, int ftype, int fsize) { t-fields realloc(t-fields, sizeof(Field) * (t-field_count 1)); Field *f t-fields[t-field_count]; f-name strdup(fname); f-type ftype; f-size fsize; t-field_count; }6.3 第二步修改myparser.y在create_st归约时调用内存操作找到create_st规则在动作中插入 C 代码create_st: CREATE TABLE Name ( create_field ) { // 创建表对象 Table *t create_table($3); // 将 create_field 构建的字段列表挂载到表需先扩展 create_field 传递字段列表 // 此处简化假设 create_field 已将字段存入全局变量 g_fields[] for (int i 0; i g_field_count; i) { add_field(t, g_fields[i].name, g_fields[i].type, g_fields[i].size); } // 注册到全局表字典 if (table_count MAX_TABLES) { tables[table_count] t; printf(✅ 表 %s 创建成功共 %d 字段\n, $3, t-field_count); } else { printf(❌ 表数量已达上限\n); } };注意g_fields需在create_field归约时填充。完整实现需扩展field_type规则用yylval传递字段信息如field_type: ID INT { $$ (Field){.name$1, .type0}; }此处为突出主线省略细节。6.4 第三步验证与扩展路径编译运行后输入CREATE TABLE users(id INT, name CHAR(32));应输出✅ 表 users 创建成功共 2 字段此时tables[0]即指向该表结构后续SELECT、INSERT规则均可基于此访问字段元数据。从那以后我每次接到 DSL 解析需求都强制走一遍这个流程先用 flex/bison 搭骨架 → 用 printf 模拟 AST → 插入真实数据结构 → 最后才加执行逻辑。骨架不稳后面全是玄学。希望帮到你。本文还有配套的精品资源点击获取