1. 问题到底出在哪LLM 合成表格数据的“水土不服”表格数据和自然语言乍一看都是“文本”但底层结构差异极大。自然语言是一维的、顺序的、上下文强关联的序列表格是二维的、行列对齐的、每个单元格的语义高度依赖列头和同行其他字段。你让一个自回归语言模型去“逐字逐句”生成一张表它天然就会犯难——因为它的训练目标压根不是为这种结构设计的。我最早接触这个方向是在一个数据增强项目里当时想让模型帮忙生成一批模拟用户行为记录字段包括用户ID、操作类型、时间戳、停留时长、转化标记。结果生成出来的东西乍看像模像样仔细一查时间戳倒挂、停留时长出现负数、转化标记和操作类型逻辑矛盾。这不是模型“笨”而是它的生成机制和表格数据的约束条件之间存在根本性错配。PAFT 这篇工作之所以值得细读是因为它没有停留在“效果不好”这个层面而是把根因拆到了三个层次表征层、算法层、训练层。下面我按自己的理解把这三个层次逐一讲透并补充我在实际复现过程中的操作细节和踩坑记录。1.1 表征层的错配一维序列 vs 二维结构LLM 的输入是一串 token位置编码本质上是一维的。表格呢它有行有列列与列之间有类型约束数值列不能出现文字行与行之间有分布约束某列的均值方差要符合预期。当你把表格序列化成“列名:值 | 列名:值”这种形式喂给模型时模型看到的仍然是一维 token 流它并没有显式的“列”概念。这就导致一个典型问题列间依赖丢失。比如“年龄”和“职业”这两列在真实数据里是有相关性的某些职业的年龄分布明显偏大或偏小但模型在逐 token 生成时很容易生成“年龄12职业退休”这种荒谬组合。因为它在生成“退休”这个词的时候对前面“12”这个数值的注意力权重可能已经衰减了。PAFT 的做法是在表征阶段就引入列感知的位置编码。具体来说它不再把表格拍平成一维序列而是为每个单元格分配一个二维位置标识行号列号并在注意力计算时对同一列和同一行的 token 施加不同的偏置。这个思路和视觉 Transformer 里的二维位置编码很像但迁移到表格场景需要额外处理变长列和缺失值。实操提示如果你自己想在开源模型上复现这个思路最直接的办法是修改 position_ids 的构造逻辑。以 HuggingFace 的模型为例你可以在 data collator 里为每个样本构造一个 shape 为 (seq_len, 2) 的位置矩阵然后重写模型 forward 里的位置编码注入部分。注意要处理好 padding 位置否则二维位置编码会把 padding token 也当成有效单元格。1.2 算法层的错配自回归生成 vs 结构化约束自回归生成的核心是“给定前文预测下一个 token”。这个机制在写文章时很好用因为文章本来就是从左到右写的。但表格不是“写”出来的它是“填”出来的。你先确定有哪些列再确定每列的类型再逐行填充。这个流程和自回归的从左到右逐 token 预测有本质区别。PAFT 在算法层做了一个关键改动把表格生成拆成两阶段。第一阶段生成表结构列名、列类型、列间关系第二阶段在给定结构下逐行填充内容。第一阶段可以用标准的自回归因为列名和类型本身就是短文本序列第二阶段则改用掩码填充的方式每次随机遮住若干单元格让模型基于同行同列的其他单元格来预测被遮住的值。这个改动的好处是显而易见的模型在填充某个单元格时能同时看到它左边、右边、上面、下面的信息而不是只能看到左边的 token。这就像你做数独如果只能从左到右看很多格子你根本推不出来但如果你能同时看行和列推理就变得可行了。我在复现这个两阶段方案时发现第二阶段的行内填充顺序很关键。如果按从左到右逐格填误差会累积如果随机顺序填模型需要额外学习一个“填充顺序”的隐变量。PAFT 论文里用的是基于置信度的动态填充顺序——先填模型最有把握的格子再填不确定的。这个策略在实操中确实有效但实现起来需要多一轮前向传播来评估置信度推理成本大概增加 30% 左右。1.3 训练层的错配通用语料 vs 表格分布LLM 的预训练语料里表格数据的占比极低。即使有也大多是 Markdown 表格或 HTML 表格这些格式和真实数据库里的表格差异很大。模型见过最多的“表格”可能是网页里的排版表格而不是带有数值分布、类别约束、缺失模式的结构化数据。PAFT 在训练层做了两件事一是构造大规模的表格预训练语料从公开数据集中抽取表格并做统一的序列化处理二是在微调阶段引入列级别的损失加权让模型对数值列、类别列、时间列分别使用不同的损失函数。数值列用回归损失类别列用交叉熵时间列用排序损失。这个多任务损失的权重设置是个经验活。我试过几组配置发现数值列损失权重太高会导致类别列生成质量下降反之亦然。比较稳的做法是先用等权重跑一轮看各列类型的验证集指标然后按指标倒数来调权重。PAFT 论文里给的权重是数值列 1.0、类别列 0.8、时间列 0.6但这个比例和数据集特性强相关不能照搬。2. PAFT 的核心设计把表格当表格来生成上一节讲了“为什么不行”这一节讲“怎么才行”。PAFT 的整体框架可以概括为结构感知的表征 两阶段的生成 列级别的训练目标。下面我拆开讲每个模块的设计逻辑和实操细节。2.1 结构感知的表征模块PAFT 的表征模块核心是一个列类型嵌入层。每个列在输入时会被分配一个类型标签数值、类别、时间、文本这个标签会被映射成一个嵌入向量加到该列所有单元格的 token 表示上。这样模型在生成某个单元格时能明确知道“我现在填的是数值列”从而避免生成文字。除此之外PAFT 还引入了一个列间注意力偏置矩阵。这个矩阵是动态计算的基于列名之间的语义相似度和列类型的兼容性。比如“年龄”和“工龄”语义相近且都是数值列它们之间的注意力偏置就是正的“姓名”和“年龄”语义远且类型不同偏置就是负的。这个偏置矩阵在每一层注意力计算时都会被加进去。我在复现时发现列间注意力偏置的计算开销不小尤其是列数多的时候比如 50 列以上矩阵是 50x50 的每层都要算一遍。优化办法是只在底层和顶层加这个偏置中间层用共享的静态偏置。实测下来效果损失很小但推理速度能提升 20% 左右。2.2 两阶段生成的具体实现第一阶段生成表结构输入是一个空的表头占位符输出是列名列表和每列的类型标签。这个阶段可以用标准的自回归生成因为输出序列很短通常不超过 100 个 token。关键是训练数据里要包含足够多的“表结构”样本让模型学会不同领域表格的常见列组合。第二阶段逐行填充输入是表结构加上已填充的部分行输出是下一行的内容。这里 PAFT 用了一个行级掩码策略在训练时随机遮住整行让模型基于其他行和表结构来重建被遮住的行。这个策略比逐格掩码更高效因为一次前向传播就能监督一整行的生成。注意行级掩码在行数很少的时候比如少于 5 行效果会变差因为模型能参考的其他行太少了。这种情况下建议退回到逐格掩码或者用列级掩码遮住整列让模型基于其他列重建。我在一个模拟项目里试过这个两阶段方案生成 1000 行 20 列的模拟订单数据。第一阶段生成表结构花了大概 2 秒第二阶段填充 1000 行花了 45 秒。生成的数据在列间相关性上比基线模型好了很多但行间的时间顺序仍然偶尔出错。后来加了一个时间列单调性约束的后处理步骤才把这个问题压下去。2.3 列级别损失函数的权重调参PAFT 的损失函数是加权的多任务损失L w_num * L_num w_cat * L_cat w_time * L_time w_text * L_text其中 L_num 是数值列的均方误差L_cat 是类别列的交叉熵L_time 是时间列的排序损失L_text 是文本列的交叉熵。权重 w 的设置直接影响生成质量。我做过一组对比实验固定其他权重只调 w_num观察数值列的生成准确率和类别列的生成准确率变化。结果如下表w_num数值列准确率类别列准确率时间列准确率0.582%91%78%1.089%88%76%1.591%82%71%2.092%74%65%可以看到w_num 从 1.0 提到 1.5数值列准确率只涨了 2 个点但类别列掉了 6 个点。所以除非你的任务对数值精度要求极高否则 w_num 设在 1.0 左右是比较平衡的。PAFT 论文里建议先用等权重跑一轮然后根据验证集上各列类型的 F1 或准确率来微调这个思路是靠谱的。3. 从零复现 PAFT我的实操流程和关键配置这一节我把自己复现 PAFT 的完整流程写下来包括数据准备、模型改造、训练配置和推理部署。你如果也想在自己的数据上试可以按这个流程走但要注意根据数据特性调整参数。3.1 数据准备与序列化格式PAFT 的训练数据需要是“表格表结构”的配对。表结构包括列名、列类型、列间关系可选。我从公开数据集中抽取了大约 5 万张表格覆盖电商、金融、医疗、社交四个领域。每张表格做以下处理统一列名格式去掉特殊字符转小写用下划线连接。推断列类型数值列int/float、类别列唯一值少于 50 的字符串列、时间列符合日期格式的字符串列、文本列其他。序列化每行转成“col1val1 | col2val2 | ...”的形式行与行之间用换行符分隔。表结构序列化转成“col1:type1 | col2:type2 | ...”的形式。实操心得序列化时一定要对特殊字符做转义尤其是值里面本身包含“|”或“”的情况。我一开始没处理导致模型把值里的“”当成了列分隔符生成出来的表格列数对不上。后来统一用 URL 编码处理值里的特殊字符问题就解决了。3.2 模型改造位置编码与注意力偏置我选了一个 7B 参数的开源模型做基座改造了三个地方第一位置编码改成二维。原始模型的位置编码是一维的我把它替换成行号和列号的拼接嵌入。具体实现是在 embedding 层加一个额外的行嵌入表和一个列嵌入表然后把行嵌入和列嵌入相加再和 token 嵌入相加。第二注意力掩码加列间偏置。在每层注意力的 softmax 之前加一个可学习的列间偏置矩阵。这个矩阵的 shape 是 (num_heads, max_cols, max_cols)训练时和模型参数一起更新。第三输出层加列类型分类头。在生成每个 token 时额外预测一个列类型标签用辅助损失来监督。这个辅助损失权重设为 0.1太大会干扰主任务。改造后的模型参数量增加了大约 3%训练显存增加了 15% 左右。如果显存紧张可以只在前几层加列间偏置后面层用共享偏置。3.3 训练配置与收敛曲线训练分两个阶段第一阶段只训练表结构生成学习率 1e-4batch size 32训练 3 个 epoch第二阶段训练行填充学习率 5e-5batch size 16训练 5 个 epoch。优化器用 AdamW权重衰减 0.01warmup 比例 0.05。我在训练时观察到第二阶段的 loss 在前 2 个 epoch 下降很快从 2.3 降到 0.8 左右然后进入平台期。第 3 个 epoch 开始验证集上的列间一致性指标我自定义的一个指标衡量生成表格中列间相关性与真实表格的差距开始缓慢提升到第 5 个 epoch 基本收敛。Epoch训练 Loss验证 Loss列间一致性11.521.480.6120.830.910.7230.670.790.7840.580.740.8150.530.720.82注意验证 Loss 在第 4 个 epoch 之后基本不降了但列间一致性还在涨。这说明单纯的 token 级 loss 不能完全反映表格生成的质量。建议在训练时同时监控列间一致性和行间一致性指标不要只看 loss。3.4 推理部署与后处理推理时第一阶段生成表结构第二阶段逐行填充。填充顺序用基于置信度的动态策略先算所有待填单元格的置信度选最高的填填完更新置信度再选下一个。这个过程比较耗时1000 行 20 列的表格大概需要 45 秒到 1 分钟。后处理包括三步一是类型校验检查每列的值是否符合该列类型二是范围校验检查数值列是否在合理范围内比如年龄不能是负数三是逻辑校验检查列间逻辑是否自洽比如“结束时间”不能早于“开始时间”。校验不通过的单元格用该列的众数或均值回填。我在实际使用中发现后处理能挽回大约 5% 到 8% 的生成错误。虽然不能完全依赖后处理但它确实是最后一道防线建议一定要加上。4. 常见问题与排查技巧实录这一节整理我在复现和使用 PAFT 过程中遇到的高频问题以及对应的排查思路和解决方法。这些问题大多不在论文里写但实操中一定会碰到。4.1 生成表格列数对不上怎么办这是最常见的问题表现为生成的表格某些行多了一列或少了一列。根因通常是序列化格式不统一或者模型在生成时把值里的特殊字符当成了列分隔符。排查步骤检查训练数据的序列化格式是否一致特别是值里包含“|”或“”的情况。检查推理时的解码策略是否允许模型生成“|”作为普通 token。如果是需要在解码时对“|”做特殊处理比如强制它在每行只能出现固定次数。检查后处理的类型校验逻辑是否把列数不匹配的行直接丢弃了。我的解决方法是在解码时加一个列数约束每行生成时记录已经生成的“|”数量如果达到预期列数减一就强制下一个 token 是换行符。这个约束在 beam search 里实现起来稍微麻烦一点但在 greedy decoding 里很简单。4.2 数值列生成精度不够怎么调数值列的生成精度受多个因素影响数值的 tokenization 方式、损失函数权重、解码时的温度参数。我试过三种数值 tokenization 方式逐位 tokenization把 123 拆成 1、2、3、整体 tokenization把 123 当成一个 token、科学计数法 tokenization。实测下来整体 tokenization 在整数列上效果最好但在小数列上容易丢失精度逐位 tokenization 精度高但生成速度慢科学计数法在极端值上表现好但普通值上不如前两者。比较稳的方案是混合 tokenization整数部分用整体 tokenization小数部分用逐位 tokenization。这样兼顾了速度和精度。另外解码时温度参数建议设在 0.3 到 0.5 之间太高会导致数值波动大太低会导致生成多样性不足。4.3 训练不收敛或 loss 震荡怎么办PAFT 的训练比普通语言模型训练更容易震荡因为多任务损失的梯度尺度不一致。数值列的 MSE 损失梯度通常比类别列的交叉熵损失梯度大一个量级如果不做梯度裁剪数值列的梯度会主导更新方向。解决方法对每个任务的损失分别做梯度裁剪而不是对总损失做裁剪。用 GradNorm 或不确定性加权来自动调损失权重而不是手动设固定权重。降低学习率尤其是第二阶段的微调学习率建议不要超过 5e-5。我一开始用 1e-4 的学习率跑第二阶段loss 震荡很厉害降到 5e-5 之后稳定了很多。另外warmup 比例设到 0.1 也能帮助稳定初期训练。4.4 生成表格的列间相关性太弱怎么提升列间相关性弱的表现是单独看每一列分布都挺合理但把两列放在一起看相关性明显低于真实数据。比如真实数据里“收入”和“消费”的相关系数是 0.7生成数据里只有 0.3。提升列间相关性的办法在训练时加入列间相关性损失计算生成表格和真实表格的列间相关系数矩阵用 MSE 作为辅助损失。在推理时用条件生成先确定某几列的值再基于这些列生成其他列。比如先确定“收入”列再生成“消费”列。在后处理阶段做相关性校正用 Copula 变换调整生成数据的列间相关性使其匹配真实数据。我用的是第一种和第三种结合训练时加相关性损失权重 0.05推理后做 Copula 校正。这样列间相关系数能从 0.3 提升到 0.6 左右虽然还不如真实数据的 0.7但已经可用性很强了。4.5 推理速度太慢怎么优化PAFT 的两阶段生成加上动态填充顺序推理速度确实是个瓶颈。1000 行 20 列的表格要 45 秒以上如果列数或行数更多时间会线性增长。优化手段批量化填充不要一次填一个单元格而是一次填一批置信度都高的单元格。这样能减少前向传播次数。缓存键值对在逐行填充时前面行的键值对可以缓存起来不用每行都重新算。模型量化用 8-bit 或 4-bit 量化推理速度能提升 2 到 3 倍精度损失在可接受范围内。蒸馏小模型用大模型生成训练数据蒸馏一个小模型专门做表格生成推理速度能提升 5 倍以上。我试过批量化填充加键值对缓存推理时间从 45 秒降到了 18 秒左右。后来上了 8-bit 量化降到了 8 秒。对于大多数离线数据增强场景这个速度已经够用了。4.6 常见问题速查表问题现象可能根因排查方法解决手段列数对不上序列化格式不统一检查值里的特殊字符加列数约束解码数值精度差tokenization 方式不当对比不同 tokenization混合 tokenization训练震荡梯度尺度不一致检查各任务梯度范数分任务梯度裁剪列间相关性弱缺少列间约束计算相关系数矩阵加相关性损失Copula校正推理速度慢逐格填充无缓存计时各阶段耗时批量填充量化蒸馏时间列顺序错缺少单调性约束检查时间列排序后处理单调性校正类别列出现新类别解码时未限制词表检查解码词表限制类别列解码空间缺失值模式不真实训练数据缺失模式单一统计缺失率分布加缺失值掩码训练最后分享一个小技巧如果你只是想做数据增强不追求完全复现 PAFT可以用一个更轻量的方案——先用 LLM 生成表结构和少量种子行然后用统计模型比如高斯 Copula 或贝叶斯网络基于种子行拟合分布再采样生成大量数据。这个方案生成速度极快列间相关性也容易控制适合对生成速度要求高、对多样性要求不极端的场景。我在几个项目里用这个混合方案效果比纯 LLM 生成稳得多而且调试成本低很多。