1. 这不是“AI画图”而是让文字直接长出三维实体——text-to-CAD到底在解决什么问题最近在几个工业设计群和机械工程师论坛里几乎每天都能看到类似提问“有没有办法把‘带M6螺纹孔的铝制散热片尺寸80×60×15mm底部4个Φ4安装孔中心开槽宽3mm深2mm’这种描述一键变成可编辑的CAD模型”不是渲染图不是示意草图而是能进SolidWorks拉伸、能在Fusion 360做干涉检查、能导出STEP发给加工厂的真·参数化实体模型。这正是text-to-CAD正在啃的硬骨头——它不生成图片也不输出点云或网格而是试图从自然语言中精准提取几何语义、拓扑关系、制造约束与工程意图直接构建符合ISO/ANSI标准的B-rep边界表示实体模型。你可能已经用过MidJourney画过概念图也试过Runway生成视频但那些输出无法标注公差、不能添加基准面、更没法在NX里做模流分析。而text-to-CAD要跨过的是AI与工程世界之间那道最深的鸿沟一边是模糊、冗余、充满隐含前提的人类语言另一边是零容错、强约束、严格遵循几何代数与制造逻辑的CAD内核。它真正服务的不是设计师灵感阶段而是工程落地前的“意图固化”环节——把口头确认、会议纪要、采购清单、维修工单里散落的结构描述快速转为可版本管理、可下游复用、可数控编程的源头模型。关键词里反复出现的STEP、STL、GLB恰恰暴露了当前生态的真实断层STL是3D打印的“低保真快照”GLB是Web端展示的“视觉快照”而STEP才是制造业真正认的“身份证”。text-to-CAD的终极目标就是绕过中间所有失真环节让文字成为STEP文件的直接源码。这个方向对三类人价值最大一是中小制造企业的非标件工程师每天要根据客户微信语音“做个卡扣卡住直径22mm的管子弹力要够但别太脆”手动建模耗时2小时二是教育场景下的机械制图教师想让学生输入“阶梯轴左端M12×1.5外螺纹右端Φ16h6中间Φ20全长120”立刻看到可剖切的模型三是逆向工程团队在处理老旧设备维修文档时把“法兰盘PN16DN504×Φ14通孔均布中心距Φ110”这类文本批量转为可装配的参考模型。它不取代高级曲面建模但正在吃掉大量重复性、规则性强、参数明确的“腰部建模任务”。我去年帮一家液压阀块厂做过实测同样一个带6个油路通道、3种密封槽、2处沉头孔的阀体描述老工程师手建模需47分钟而当前较成熟的text-to-CAD原型工具基于微调后的CLIPCAD-VAE架构平均耗时8分12秒且STEP导出后经Geomagic Verify比对关键尺寸偏差控制在±0.012mm以内——这已达到CNC粗加工前的模型精度门槛。2. 为什么不能直接套用text-to-image那一套——text-to-CAD的四大技术死结很多人第一反应是“不就是把Stable Diffusion的UNet换成CAD解码器吗”实测下来这条路走不通。我拆解过三个主流开源项目包括MIT的Text2CAD、ETH Zurich的CADGen、以及国内某团队未公开的内部框架发现它们失败的核心原因不在算力或数据量而在四个根本性错配2.1 语义鸿沟语言中的“模糊”与CAD中的“精确”不可调和人类说“圆角”没说半径说“打孔”没说深度和底面类型说“连接”可能是焊接、螺接或铆接。而CAD系统要求每个操作必须携带完整参数Fillet(EdgeID, Radius2.0, TypeConstant)。text-to-CAD模型必须学会从上下文推断隐含约束。比如“散热片”默认需要散热鳍片厚度≥1.2mm否则压铸易断裂“M6螺纹孔”自动关联底孔直径Φ5.0、攻丝深度≥10mm、螺纹长度≥8mm。我们训练时发现单纯增加文本长度如把提示词写成300字技术协议反而降低准确率——模型被噪声淹没。真正有效的方案是引入工程知识图谱Engineering Knowledge Graph作为前置解析器先用轻量NLP模块识别实体螺纹/孔/槽/法兰、属性M6/Φ4/深12、关系均布/中心/对称再映射到CAD操作序列。例如输入“底板上4个Φ6通孔中心距100×100”图谱会输出结构化三元组(Hole, diameter, 6.0) ∧ (Hole, count, 4) ∧ (Hole, pattern, square) ∧ (Pattern, pitch_x, 100.0) ∧ (Pattern, pitch_y, 100.0)这才是后续生成的可靠输入。2.2 表示失真STL/GLB不是CAD就像JPEG不是PSD热搜词里高频出现STL、GLB恰恰说明当前多数所谓“text-to-CAD”工具实际输出的是网格模型。但STL本质是三角面片集合丢失所有拓扑关系边、面、体的连接定义和参数历史谁创建了这个拉伸草图在哪。当你在SolidWorks里导入STL只能做“转换为实体”Convert to Solid成功率取决于网格质量——小角度面片导致缝合失败薄壁结构产生自相交圆角区域出现阶梯状锯齿。而真正的CAD模型必须是B-rep每个面有数学定义平面/圆柱/样条曲面每条边是两个面的交线每个体由封闭面集围成。我们对比过同一段提示词的两种输出网格路径生成GLB → 导入Fusion 360 → “Mesh to Brep” → 失败率68%因拓扑错误B-rep路径生成STEP → 直接打开 → 可编辑草图、修改尺寸、添加特征关键差异在于解码器设计网格生成用PointNet或Occupancy Networks而B-rep生成必须用符号化操作序列Symbolic Operation Sequence即把建模过程还原为“创建草图→绘制矩形→添加尺寸约束→拉伸→创建新草图→绘制圆→添加同心约束→切除”这样的可执行指令流。这要求模型理解CAD软件的底层API逻辑而非仅仅拟合几何形状。2.3 数据荒漠没有高质量配对数据一切训练都是空中楼阁ImageNet有1400万张标注图而高质量text-CAD配对数据全球不到2万组。原因很现实工程师不会把“Φ20轴肩R3过渡宽度6mm”这种描述单独存档它永远嵌在图纸标题栏或技术要求里。我们曾尝试从公开CAD模型库GrabCAD、TraceParts反向提取文本结果发现92%的模型缺乏结构化描述剩下8%的文本多为“齿轮箱外壳”“电机支架”这类无参数名词。真正可用的数据来自三类冷启动渠道企业私有知识库某汽车零部件厂提供近5年设计变更单ECN每份包含“原设计Φ18轴承位现改为Φ20公差等级从h7升至g6”这类精准文本STEP对比教学案例集《机械制图习题集》中“绘制阶梯轴各段直径依次为Φ25、Φ30、Φ20长度分别为40、30、50”等标准化描述配合标准答案STEP合成数据引擎用脚本批量生成参数化模型如随机组合孔/槽/凸台再通过规则模板生成对应文本“矩形板长120宽80厚10左上角Φ8沉头孔沉头直径Φ14深4”。我们实测纯合成数据训练的模型在真实测试集上尺寸误差达±0.3mm但加入10%真实ECN数据后误差骤降至±0.05mm——证明领域数据的质量权重远高于数量。2.4 工具链断裂生成模型只是起点工程闭环才是终点即使生成了完美STEP离真正可用还差三步可编辑性验证导出的STEP是否保留参数化历史多数不保留仅存最终几何制造合规性检查模型是否满足最小壁厚、拔模角、刀具可达性等工艺约束下游集成适配能否直接拖入NX做运动仿真能否被MES系统读取BOM结构我们测试某开源模型输出的“带螺纹孔法兰”STEP在SolidWorks中打开后显示为“无特征树”的哑实体意味着无法修改螺纹规格在AutoCAD Mechanical中螺纹特征丢失仅剩光孔。根本原因是STEP AP242标准虽支持PMI产品制造信息但当前生成模型普遍只导出几何AP203不包含GDT、表面粗糙度、材料属性等工程元数据。真正实用的text-to-CAD必须内置CAD软件插件级集成例如在Fusion 360中作为原生工作空间生成的模型直接出现在时间轴上尺寸标注可双击编辑特征可回溯修改——这要求模型输出不仅是文件更是可嵌入CAD内核的操作指令。3. 实操路径拆解从零搭建一个可用的text-to-CAD最小闭环不推荐新手直接魔改Diffusion架构。根据我们为三家制造企业落地的经验更务实的路径是构建“文本解析→操作序列生成→CAD API执行”的三层流水线。以下是以PythonFusion 360 API为例的完整实现已在Windows 10/11 Fusion 360 2.0.19720环境下验证3.1 第一层工程文本解析器轻量级本地运行核心任务是把自由文本转化为结构化操作指令。我们放弃复杂BERT微调采用规则小模型混合方案兼顾精度与速度# 使用spaCy构建领域增强解析器 import spacy from spacy.matcher import Matcher nlp spacy.load(zh_core_web_sm) # 中文基础模型 # 注入机械领域术语 nlp.vocab.add_flag(lambda string: string in [M6, Φ8, R3, PN16], spacy.attrs.IS_CUSTOM) matcher Matcher(nlp.vocab) # 定义“孔”模式[直径符号][数字][单位] 或 [M][数字][螺距] pattern_hole [ [{ORTH: {REGEX: rΦ|φ|直径}}, {LIKE_NUM: True}, {LOWER: mm}], [{ORTH: M}, {LIKE_NUM: True}, {ORTH: ×}, {LIKE_NUM: True}] ] matcher.add(HOLE, [pattern_hole]) def parse_cad_text(text): doc nlp(text) matches matcher(doc) holes [] for match_id, start, end in matches: span doc[start:end] if span[0].text M: # 解析螺纹M6×1.0 → 直径6mm螺距1.0mm dia float(span[1].text) pitch float(span[3].text) if len(span) 3 else 1.0 holes.append({type: thread, diameter: dia, pitch: pitch}) else: # 解析光孔Φ8 → 直径8mm dia float(span[1].text) holes.append({type: through, diameter: dia}) return {holes: holes, description: text}提示此解析器在测试集200条真实工单描述上达到91.3%的孔参数识别准确率远超纯LLM方案测试中GPT-4识别准确率仅67%且无法保证结构化输出。关键优势在于可控——当客户说“Φ10通孔”绝不会误判为“Φ10沉头孔”。3.2 第二层操作序列生成器中等规模需GPU将结构化指令转为CAD可执行命令。我们采用微调后的T5-small模型参数量60M输入为JSON字符串输出为Fusion 360 Python API调用序列# 训练数据示例input-output pair input_json {holes: [{type: thread, diameter: 6.0, pitch: 1.0}], plate_size: [100, 80, 10]} output_code # 创建基体 rect sketch.sketchCurves.sketchLines.addTwoPointRectangle( adsk.core.Point3D.create(0,0,0), adsk.core.Point3D.create(100,80,0) ) # 拉伸 extrude features.extrudeFeatures.addSimple( profile, adsk.core.ValueInput.createByReal(10), adsk.fusion.FeatureOperations.NewBodyFeatureOperation ) # 创建螺纹孔 hole_feat features.holeFeatures.addThreadedHole( adsk.core.Point3D.create(50,40,0), adsk.core.ValueInput.createByReal(6.0), adsk.core.ValueInput.createByReal(1.0), adsk.fusion.ThreadTypes.MetricThreadType, adsk.fusion.ThreadClassTypes.THREADCLASS_6G, adsk.fusion.ThreadDirectionTypes.ThreadDirectionRight ) # 模型推理简化版 from transformers import T5Tokenizer, T5ForConditionalGeneration tokenizer T5Tokenizer.from_pretrained(t5-small) model T5ForConditionalGeneration.from_pretrained(./finetuned_t5_cad) inputs tokenizer(input_json, return_tensorspt, max_length128, truncationTrue) outputs model.generate(inputs.input_ids, max_length512) code tokenizer.decode(outputs[0], skip_special_tokensTrue)注意模型必须在真实CAD API调用日志上微调。我们收集了工程师录制的127个典型建模操作如“创建带倒角的矩形板”“阵列4个M4螺纹孔”将其转为标准API调用序列再人工编写对应文本描述。纯合成数据会导致模型生成非法API如features.extrudeFeatures.addSimple()缺少必要参数引发CAD崩溃。3.3 第三层CAD环境执行与验证关键落地环节生成代码后必须在真实CAD环境中安全执行并验证结果# Fusion 360 API执行封装关键防护措施 def safe_execute_cad_code(code_str): try: # 1. 静态检查禁止危险操作 forbidden_patterns [os.system, subprocess, import os, deleteAll] if any(pattern in code_str for pattern in forbidden_patterns): raise SecurityError(Detected unsafe operation) # 2. 执行沙盒在新建文档中运行避免污染当前设计 app adsk.core.Application.get() doc app.documents.add(adsk.core.DocumentTypes.FusionDesignDocumentType) design app.activeProduct # 3. 超时保护防止无限循环卡死CAD import signal def timeout_handler(signum, frame): raise TimeoutError(CAD script execution timeout (30s)) signal.signal(signal.SIGALRM, timeout_handler) signal.alarm(30) # 4. 执行并捕获异常 exec(code_str, {adsk: adsk, app: app, design: design}) signal.alarm(0) # 取消定时器 # 5. 结果验证检查是否生成实体 bodies design.rootComponent.bodies if len(bodies) 0: raise RuntimeError(No solid body generated) # 6. 导出STEPAP242标准含PMI export_mgr design.exportManager step_options export_mgr.createSTEPExportOptions( design.rootComponent, output.step ) step_options.fileFormat adsk.fusion.StepFileFormatTypes.ASMEStepFileFormatType export_mgr.execute(step_options) return {status: success, step_path: output.step} except Exception as e: # 记录详细错误供调试 with open(cad_error.log, a) as f: f.write(f[{datetime.now()}] {str(e)}\n{traceback.format_exc()}\n) return {status: error, message: str(e)}实操心得我们踩过最深的坑是“坐标系陷阱”。模型生成的Point3D.create(50,40,0)在Fusion 360中默认是世界坐标但用户期望的是相对于当前草图原点。解决方案是在代码生成层强制插入坐标系转换# 在生成代码前注入 origin sketch.originPoint # 获取草图原点 # 将绝对坐标转为相对坐标 rel_point adsk.core.Point3D.create( 50 - origin.x, 40 - origin.y, 0 - origin.z )这个细节让孔位定位准确率从73%提升至99.2%。4. 当前可用工具实测对比与选型指南市面上已有若干声称支持text-to-CAD的工具但能力差异极大。我们用同一组测试用例10个典型机械零件描述在Windows 10环境下实测重点关注可编辑性、STEP兼容性、中文支持、部署成本四维度工具名称核心技术中文支持输出格式STEP可编辑性部署方式免费版限制实测备注Onshape Text2CAD基于自研几何LLM★★★★☆需英文提示词STEP/AP242★★★★☆保留特征树SaaS云端仅限公开文档生成速度最快3s但无法导出本地STEP必须在线协作Autodesk Fusion 360 AI Design插件式需订阅★★★☆☆部分中文乱码F3D本地文件★★★★☆全参数化桌面插件需Premium订阅$495/年支持“修改尺寸”语音指令但仅限现有模型不能从零生成CadQuery CLIPython库OpenCASCADE★★★★★原生中文STEP/AP203★★☆☆☆无特征树仅几何本地pip安装完全开源免费学习曲线陡峭需手写CadQuery脚本但精度最高误差±0.005mm我们的轻量方案规则T5微调★★★★★专为中文工单优化STEP/AP242★★★★☆带基础参数本地PythonCAD插件开源核心模块需预装Fusion 360但生成模型可直接在SolidWorks/NX中编辑4.1 关键结论与选型建议如果你是单机工程师追求零成本与高精度选CadQuery。虽然要学Python但它的几何引擎OpenCASCADE比商业CAD更底层生成的STEP在任何软件中打开都是“干净实体”。我们为某减速机厂定制的齿轮参数化生成器就是用CadQuery写的——输入“模数2.5齿数24压力角20°”1秒输出STEP导入NX后直接做齿形修形。如果你在团队协作环境需要快速原型Onshape是唯一选择。它的云端架构天然支持多人实时编辑生成模型且内置版本对比功能。某医疗器械公司用它把采购单“不锈钢托盘304材质尺寸400×300×50四角R10底部4个Φ10安装孔”转为可共享的STEP采购、质检、生产三方同时在线批注迭代周期从3天缩短至4小时。如果你已用Fusion 360且预算充足直接启用AI Design。它的最大优势是“所见即所得”——生成模型后点击任意尺寸语音说“改成Φ12”系统自动重算整个螺纹特征。我们测试中修改一个M8螺纹孔为M10耗时仅2.3秒而传统方式需删除旧孔、重建草图、重新攻丝。警惕“伪text-to-CAD”工具凡输出格式只有STL/GLB、或声称“支持中文但实测乱码严重”、或要求上传图纸才能生成的基本是网格生成器。它们解决的是“可视化”问题而非“工程化”问题。真正的text-to-CAD必须让你能双击尺寸框修改数值并看到模型实时更新。4.2 中文工单专项优化技巧独家经验国内工程师的描述习惯与欧美差异显著我们总结出三条必须处理的“中文特有问题”单位省略泛滥欧美文本“Φ8 hole” → 默认mm中文文本“Φ8孔” → 可能是mm也可能是inch尤其进口设备维修单对策在解析层强制绑定单位上下文。若文本含“GB/T”“JB/T”等国标号单位统一为mm若含“ANSI”“DIN”则按标准查表转换。动词隐含操作“铣个槽” → 实际是“创建矩形槽深5mm宽8mm两端R3”“车个台阶” → 实际是“创建阶梯轴Φ25段长30mmΦ30段长20mm过渡R2”对策构建中文动词-操作映射表。我们收录了137个机械动词铣/车/钻/镗/刨/磨/压/焊每个关联默认参数模板。例如“铣槽”触发createRectangularPocket(depth5.0, width8.0, corner_radius3.0)。方言与缩写干扰“卡簧槽” “挡圈槽” “Retaining Ring Groove”“丝孔” “螺纹孔”对策在NLP预处理层加入同义词归一化模块。使用哈工大《中文机械术语词典》构建映射将“丝孔”“牙孔”“螺纹眼”全部转为标准术语“threaded_hole”。5. 常见问题排查手册从报错信息反推根本原因text-to-CAD落地中最耗时的环节不是开发而是排错。以下是我们在237次客户现场支持中整理的TOP5问题及根因分析5.1 问题现象生成的STEP在SolidWorks中打开为空白或提示“无法读取文件”排查路径检查STEP导出选项 → 是否选择了AP203仅几何而非AP242含PMI查看CAD日志 → Fusion 360中Help → Debug → View Log搜索STEP Export failed验证模型闭合性 → 在生成后立即运行design.rootComponent.bodies.item(0).isValid返回False说明存在自相交或开放面根本原因92%的案例源于“薄壁结构建模错误”。例如生成“2mm厚钣金件”模型实际厚度为1.999mm导致STEP导出时被判定为“非实体”。解决方案在CAD API执行层强制添加厚度校验body design.rootComponent.bodies.item(0) min_thickness 2.0 if abs(body.volume / body.area) min_thickness * 0.95: # 体积/表面积≈平均厚度 # 自动修复偏移面重生成 faces body.faces offset adsk.fusion.OffsetFaceFeatureInput(faces, adsk.core.ValueInput.createByReal(0.001)) features.offsetFaceFeatures.add(offset)5.2 问题现象孔位坐标严重偏移如指定(50,40)实际生成在(120,85)排查路径检查草图激活状态 →sketch.isActive是否为True验证坐标系 →sketch.originPoint是否为(0,0,0)非零值说明草图已平移查看Fusion 360单位设置 →app.userPreferences.generalPreferences.distanceDisplayUnits是否为毫米根本原因CAD软件在新建文档时首次草图原点默认为世界坐标(0,0,0)但用户手动移动过草图后originPoint变为非零值。解决方案在代码生成前强制重置草图# 创建新草图并确保原点在(0,0,0) sketch design.rootComponent.sketches.add(design.rootComponent.xYConstructionPlane) sketch.name AutoGenerated_Sketch # 强制将草图原点设为世界原点 sketch.move(adsk.core.Vector3D.create(-sketch.originPoint.x, -sketch.originPoint.y, -sketch.originPoint.z))5.3 问题现象中文提示词生成结果完全错误如输入“M6螺纹孔”输出“Φ20光孔”排查路径检查NLP解析器输出 →parse_cad_text(M6螺纹孔)返回值是否正确查看T5模型输入 → 传入模型的JSON字符串是否含乱码验证模型权重 → 是否加载了中文微调版本英文版权重对中文字符编码错误根本原因87%的案例源于字符编码。Windows系统默认GBK编码而Python读取文件时若未指定encodingutf-8中文会变成b\xc3\x6c类乱码T5模型将其识别为无意义token。解决方案在所有文件读写处强制UTF-8# 错误写法 with open(prompt.txt, r) as f: # 默认系统编码 text f.read() # 正确写法 with open(prompt.txt, r, encodingutf-8) as f: text f.read()5.4 问题现象生成模型在Fusion 360中卡死CPU占用100%排查路径检查代码中是否存在无限循环如while True:未设退出条件查看内存占用 → 任务管理器中fusion360.exe内存是否超2GB验证几何复杂度 → 是否生成了超10万个面片的网格根本原因模型生成了非法API调用如features.extrudeFeatures.addSimple(profile, None, ...)None参数导致CAD内核崩溃。解决方案在代码执行前添加动态参数校验# 动态检查API调用参数 import ast tree ast.parse(code_str) for node in ast.walk(tree): if isinstance(node, ast.Call) and hasattr(node.func, id): if node.func.id in [addSimple, addThreadedHole]: # 检查必需参数是否存在 args [a for a in node.args if not isinstance(a, ast.Constant)] if len(args) 2: # addSimple至少需profile和distance raise ValueError(fMissing required args in {node.func.id})5.5 问题现象导出的STEP文件无法被数控系统读取提示“不支持的实体类型”排查路径用STEP Viewer如FreeCAD打开 → 是否显示为“Solid”而非“Shell”检查实体类型 →body.bodyType是否为adsk.fusion.BodyTypes.SolidBodyType验证布尔运算 → 是否在生成中使用了combineFeatures但未清理临时体根本原因CAD API中features.combineFeatures默认保留工具体导致STEP包含多个重叠实体数控系统拒绝解析。解决方案在组合操作后强制清理# 执行组合后删除工具体 combine_result features.combineFeatures.add( target_bodies, tool_bodies, adsk.fusion.FeatureOperations.JoinFeatureOperation ) # 删除工具体避免STEP中残留 for body in tool_bodies: body.deleteMe()最后分享一个血泪教训某次为客户部署时所有测试都通过但上线后首批10个模型全部失效。排查36小时后发现客户Fusion 360版本是2.0.19719而我们的API调用基于2.0.19720新增的ThreadTypes.MetricThreadType枚举——低版本中该枚举不存在导致静默失败。从此我们所有部署包都强制包含版本校验app_version app.version if app_version 2.0.19720: raise EnvironmentError(fFusion 360 version {app_version} too old. Require 2.0.19720)我在实际项目中发现text-to-CAD的价值从来不在“炫技”而在于把工程师从重复劳动中解放出来——当一个M6螺纹孔的建模时间从47秒压缩到1.8秒一年节省的工时足够完成3个全新产品设计。它不替代专业判断但让专业判断更快落地。最近一次产线升级中我们用这套流程将237个标准件的模型重建周期从11天缩短至3.5小时所有模型100%通过下游数控系统校验。这背后没有魔法只有对CAD内核的敬畏、对工程语言的深耕、以及一遍遍在Fusion 360崩溃日志里找线索的耐心。