如果你翻过早期深度学习相关的经典资料大概率会对这样一张网络结构图有印象一个滑动窗口扫过句子里连续的前5个词每个词先查表得到一个稠密向量拼接成一长条经过一层带tanh激活的全连接层最后在一个巨大的词表上做softmax、输出每个词作为下一个词的概率。这就是神经网络语言模型NNLM。这个网络放在今天看结构确实很朴素但它几乎奠定了现代自然语言处理的底层思路词不应该是one-hot那种“谁也不认识谁”的离散符号而应该被训练成携带语义信息的稠密向量语言模型也不一定非要用频次硬凑用神经网络学出来的连续表示去估计概率泛化反而更好。熟悉NLP发展脉络的人都知道后续的词向量、RNN语言模型、注意力机制乃至大规模预训练模型追根溯源都能在NNLM这里找到影子。这篇文章我会从“它到底在解决什么问题”出发把NNLM的结构设计、训练细节、代码实现、工程避坑和影响脉络全部拆开讲。新入门的人可以把它当成深度学习NLP的第一块跳板有经验的人也可以借机重新审视那些从NNLM一路继承下来的模型设计逻辑。1. 神经网络语言模型在解决什么核心问题1.1 语言建模的原始定义语言模型做的事情一句话就能说清给一段文本出现的概率打分。给定一个词序列我们希望算出它出现的概率。根据条件概率的链式法则一个句子的联合概率可以拆成P(w1, w2, ..., wT) P(w1) × P(w2|w1) × P(w3|w1,w2) × ... × P(wT|w1...wT-1)所以语言模型的核心就变成了给出前面已经出现的词预测下一个词的概率分布。这个能力几乎贯穿所有NLP任务——机器翻译要测算译文自然度语音识别要挑更合理的一句转写文本生成要保证生成内容连贯搜索引擎在纠错、补全方面也都要用到它。可以说语言模型是一个基础底座NLP的很多问题上层都默认“我手上已经有了一个不错的LM”。1.2 N-gram模型的问题清单在神经网络登场之前业界最常用的语言模型是N-gram统计模型它做一个非常强的近似假设当前词只依赖于前面n-1个词。然后直接从语料里统计这些固定长度词串出现的频次再用最大似然估计计算条件概率。N-gram用了几十年但它有几个解决不了的老大难问题第一个是数据稀疏。假设词表大小是V一个三元组trigram的可能组合就有V³种语料再大也不可能把所有组合都覆盖到。没出现的n元组概率就是0这对一个概率模型是致命的。于是后来出现了各种平滑手段加一平滑、回退、插值都是在给零概率打补丁但补丁越多模型越笨重。第二个是维度灾难。符号化表示让每个词都独立成一个维度V稍微做大一点比如几万存储和计算就开始失控。第三个是我认为最致命的——语义鸿沟。在N-gram的世界里“猫坐在垫子上”和“猫咪趴在毯子上”这两句话没有任何相似之处因为它们没有一个字符重叠。模型无法把“猫”身上学到的统计知识迁移到“猫咪”上更不可能理解“坐在”和“趴在”的行为相似性。每换一个新词一切都得从头学起。1.3 NNLM带来的两个关键转变NNLM这一下的突破恰恰是对准了上面所有的问题。第一个转变是“分布式表示”。每个词不再是一个孤立的one-hot索引而是映射成一个低维稠密向量。两个词是不是相关看它们在向量空间里的距离就知道相关的词大概率拥有相似的向量这个状态就是词向量。词和词之间不再是“二值开关关系”而是“可度量的相似关系”。第二个转变是“连续空间上的泛化”。N-gram在离散的符号组合上统计而神经网络接收的是连续的实数向量并在这些向量上做非线性变换。哪怕某个具体的7元组从来没在训练集里出现只要组成它的词和某个已出现的样例在向量空间里接近网络就能给出一个还不错的概率估计。这种泛化能力是频次统计怎么抠都抠不出来的。所以你会发现NNLM表面上看只是一个替换概率估计工具的尝试但实际上它悄悄改变了NLP对“词”的底层假设。后来的Word2Vec、BERT、GPT其实都在坚持这一条路把语言问题变成高维向量空间里的表示学习问题。2. 从零拆解NNLM的网络结构2.1 输入层从离散索引到稠密词向量NNLM的输入不是原始文本而是词的索引。假设词表大小是V上下文中要利用的前n-1个词就是输入序列。每个词先根据词表查到一个唯一id再通过一张形状为V×m的查找表embedding矩阵取出一行长度为m的稠密向量。这个查表操作本质上就是训练中的词向量。最初这张表是随机初始化的训练会不断更新它让每个词都在高维空间中找到自己合适的位置。得到n-1个词各自的向量后模型把这n-1个m维向量首尾拼接变成一个长度(n-1)×m的长向量。这个长向量就是网络真正吃进去的特征。为什么要拼接而不是相加因为拼接保留了每个位置上到底是哪个词的信息顺序和位置结构不会被抹掉。这里有一个关键的工程设计窗口n取多大。窗口太小模型看不到足够上下文窗口太大输入维度和参数量线性膨胀训练成本上升。经典论文里的实验普遍在510之间取我自己的经验是取5左右做通用语言建模比较平衡。2.2 隐藏层把局部上下文压成一个表示拼接好的长向量会送入一个全连接层再过一个tanh激活函数。隐藏层的作用可以概括成“特征交互与压缩”窗口内每个词的独立向量在这里进行非线性组合生成一个能整体描述当前上下文状态的隐藏表示。为什么偏偏用tanh这不是历史偶然。tanh是零均值、幅度0到1左右饱和的平滑函数它给神经元提供了柔和的非线性在NNLM这种中等深度的网络里非常稳定。相比之下ReLU在深层网络里更好用但在这样一个浅层模型里反而容易因为线性区间太多而学不出足够复杂的特征交互。早期做NNLM复现时有人把tanh换成ReLU效果波动不大但收敛略微变脆我还是习惯于保留原始设计。隐藏层的维度h也是一个关键超参数。h太小信息压缩得太狠模型表达能力不足h太大输出层的计算开销会以乘法级别攀升。对于中小词表我一般从h128起步效果不够再往上加。2.3 输出层softmax与千千万万个候选词隐藏层算出来的表示h_vector要映射到词表V上得到每个词的得分。这个映射就是输出层权重矩阵U形状V×h。每个词的得分经过softmax归一化就得到一个合法的概率分布。训练时我们期望目标词对应的那一个维度的概率最大本质上就是一个词表规模的分类问题。这里有个容易被忽略的经典细节原版NNLM在从输入拼接向量直接到输出层之间还加了一个“直连接”矩阵W_direct形状V×(n-1)×m。这个做法的直觉是有些信息比如最近几个词的字面重合不需要经过隐藏层的非线性“翻译”直接告诉输出层反而更清晰。直连接的存在让网络在面对低频但高度依赖局部词的场景时更可靠。代价是参数量暴涨V×(n-1)×m这个乘法在词表大时非常夸张。所以后来很多复现版本干脆把这个结构去掉只保留隐藏层到输出层的一路连接效果差距在中小语料上不算大。2.4 参数量和复杂度估算我用一个具体例子让你直观知道NNLM的计算瓶颈在哪。假设词表V10万词向量维度m50窗口n5隐藏层h100网络组件参数量计算参数量约词向量矩阵V × m500万隐藏层h × ((n-1)×m) h约2.5万输出层V × h1000万直连接可选V × (n-1) × m2500万看到没有模型的大头全在输出层和直连接这两个和词表大小直接相关的矩阵上。这也解释了为什么后来的大规模语言模型几乎都会想尽办法绕开巨大softmax要么用负采样丢掉大部分负例要么用分层softmax把大softmax拆成树结构本质都是在资源受限时避开这堵由词表高度决定的墙。3. 训练目标、数据构造与优化细节3.1 目标函数对数似然到底在最大化什么NNLM的训练目标不是“预测对错”而是最大化训练语料的整体概率。把全部样本的联合概率取对数并平均就得到目标函数用梯度下降最大化它等价于最小化交叉熵损失。从直觉上理解每一条样本任务都是“给你前面几个词你预测下一个词”。如果模型给真正下一个词分配的概率高整体似然就大损失就低。这一个目标函数同时牵引了两件事——词向量矩阵和网络参数都得往“更有利于预测下一个词”的方向更新。这就是为什么NNLM能一举两得地学出词向量又学出语言模型。实际计算时PyTorch这类框架通常会直接算交叉熵损失。logits张量形状(batch, vocab)和标签张量形状(batch)输入cross_entropy损失函数即可内部已经把softmax和负对数似然合并了。3.2 训练样本怎么切训练数据的构造方法是从语料第一个词开始用一个长度为n的窗口滑动。窗口里前n-1个词是输入特征第n个词是预测目标。滑完整个语料理论上能得到的样本数约为“语料总词数−n1”条。两个实际经验值得单独说。一是在句子边界要处理得当。我个人习惯在每句开头加一个专属句子开始标记、结尾加句子结束标记。这样模型能从标记里学到“句子该何时开始、何时结束”的分布生成时也方便。如果不想区分句子边界至少要用拼接后的大文本流做切窗否则句首词总是缺少足够前文这些位置的预测就成了瞎猜。二是实际训练时不会真的把每条样本单独喂进去而是把小窗口重叠的样本拼成batch输入。比如把整个语料按固定batch大小切块每个块内连续文本整体载入让窗口在矩阵计算中大量重叠复用。这个设计牺牲一点严格独立性的干净度但能换回高得多的训练吞吐我建议在复现时采用。3.3 初始化、学习率与正则化经验这部分是实际训练时最容易踩坑的。词向量初始化我建议用范围[-0.05, 0.05]的均匀分布。不要用太大范围否则最初几轮梯度在softmax里被极端分数带偏模型很难平滑收敛太小又会让初始表示高度雷同优化缓慢。隐藏层和输出层用默认的均匀初始化即可。优化器方面用Adam配学习率1e-3在多数词表5万以下的中小任务上都稳词表接近几十万规模时我通常把学习率降到3e-45e-4再微调。使用SGD的话初学率可以放宽到0.05甚至0.1但需要配合learning rate decay收敛过程会更颠簸、更依赖手感和经验。正则化上embedding输出加dropout 0.20.3是我觉得性价比最高的防过拟合手段。隐藏层输出也可以加但要注意与梯度裁剪配合。梯度裁剪在这种自带百万级输出层的模型里不是可选项而是必需品。词表一大输出层的梯度过几轮累积就容易冲到极大值出现的典型症状就是loss突然变NaN。clip_grad_norm_设成1.0或5.0能在大部分情况下直接救回训练过程。4. 手把手实现一个极简NNLM4.1 数据准备与预处理实现最好的学习方式是完整跑通一遍。以下代码用PyTorch实现不依赖任何大型数据集用几行自造语料就能验证原理。import torch import torch.nn as nn import torch.optim as optim from torch.nn.utils import clip_grad_norm_ # 一份微型语料足够演示原理 texts [ the cat sat on the mat, the dog sat on the floor, cats like to sleep, dogs like to run, the cat likes fish, the dog likes bones, birds fly in the sky, fish swim in the river, ] # 切词 tokens [] for t in texts: tokens.extend([bos] t.split() [eos]) # 建词表 vocab list(set(tokens)) [unk] vocab_size len(vocab) word2idx {w: i for i, w in enumerate(vocab)} idx2word {i: w for w, i in word2idx.items()} print(词表大小:, vocab_size, 词表:, vocab)这里我加入了句子边界标记语料里所有真实词都能覆盖到对应id。等之后需要处理未知词时直接把词典外词映射到索引0位置对应的unk标记即可。4.2 模型定义的PyTorch实现模型结构我用最简单的版本embedding → 拼接 → tanh隐藏层 → 输出层。直连接可有可无为了可读性先省略后面可以自己加上试试直观感受参数量和效果的变化。class NNLM(nn.Module): def __init__(self, vocab_size, embed_dim, hidden_dim, context_len): super().__init__() self.context_len context_len self.embed_dim embed_dim self.embed nn.Embedding(vocab_size, embed_dim) # 输入维度是 context_len 个向量拼接后的长度 self.hidden nn.Linear(context_len * embed_dim, hidden_dim) self.tanh nn.Tanh() self.out nn.Linear(hidden_dim, vocab_size) self.init_weights() def init_weights(self): # 词向量用较小的均匀分布初始化 nn.init.uniform_(self.embed.weight, -0.05, 0.05) nn.init.xavier_uniform_(self.hidden.weight) nn.init.xavier_uniform_(self.out.weight) def forward(self, inputs): # inputs shape: (batch, context_len) emb self.embed(inputs) # (batch, context_len, embed_dim) emb emb.view(inputs.size(0), -1) # (batch, context_len * embed_dim) h self.tanh(self.hidden(emb)) # (batch, hidden_dim) logits self.out(h) # (batch, vocab_size) return logits这段代码可以和网络结构描述逐一对应Embedding层就是那张查找表view展开完成拼接hidden层做非线性特征交互out层把表示映射成词表得分。4.3 训练循环与困惑度评估构造训练样本时我用一个固定长度的滑动窗口在每个位置取连续context_len个词作为输入序列的下一个词作为标签。简单、直接每个合法位置都贡献一条样本。context_len 3 # 用前3个词预测下一个词 X, Y [], [] for i in range(len(tokens) - context_len - 1): context tokens[i:i context_len] target tokens[i context_len] if context[0] ! eos: # 跳过跨越eos的窗口保持句内时序 X.append([word2idx.get(w, 0) for w in context]) Y.append(word2idx.get(target, 0)) X torch.tensor(X, dtypetorch.long) Y torch.tensor(Y, dtypetorch.long) model NNLM(vocab_size, embed_dim16, hidden_dim32, context_lencontext_len) optimizer optim.Adam(model.parameters(), lr1e-3) loss_fn nn.CrossEntropyLoss() model.train() for epoch in range(200): optimizer.zero_grad() logits model(X) loss loss_fn(logits, Y) loss.backward() clip_grad_norm_(model.parameters(), 1.0) optimizer.step() if (epoch 1) % 40 0: perplexity torch.exp(loss).item() print(fepoch {epoch1:3d} loss{loss.item():.3f} perplexity{perplexity:.2f})小语料因为样本量少、窗口短几个epoch后loss就能明显下降。这里有三个点新手容易迷惑一是CrossEntropyLoss内部已经做了softmax所以模型输出层不要再额外套softmax二是backward之后必须clip一遍梯度再step更新三是perplexity等于损失函数e的幂次它表示模型预测下个词时的平均可选候选数越小说明越有把握。训练结束后把embedding权重拿出来做一次PCA降维可视化你会看到“cat”、“dog”这类同类词聚在一起“run”、“sleep”这类动作词聚在另一侧这就是分布式表示带来的语义聚类效果非常直观。5. 从NNLM继承与超越影响范围5.1 被后人放大的副产品词向量NNLM最初的目标是语言模型词向量只是训练过程中顺手产生的“中间变量”。但后来很多人发现这个“中间变量”的语义表示能力实在太惊艳了同义词距离近、类比关系成立比如“king − man woman ≈ queen”这样的情况可以通过向量加减体现出来。于是后续研究者干脆把语言模型的目标抛到一边只专心训练词向量——CBOW和Skip-gram就是在这样的思路上发展起来的。它们把NNLM中复杂的隐藏层和输出层简化掉只保留一张embedding表和一个轻量预测目标训练速度和可扩展性大幅提升让词向量真正成为NLP基础设施。5.2 从固定窗口走向循环与注意力NNLM用了固定窗口模型永远只看得到最近的n-1个词远距离依赖问题无法避免。某段上文在第20个词位置提供了关键信息窗口只有5时直接丢了。RNNLM的登场正是为了解决这个痛点用循环结构把整个前文编码进一个隐状态理论上可以携带无限长的历史信息。再往后的LSTM、GRU进一步解决了长程梯度消失问题。再之后注意力机制出现Transformer直接把“所有位置两两交互”做到位远程依赖不再是靠记忆硬扛而是靠显式关联。这一路演进各自选择的网络架构都不同但所有模型都没有推翻NNLM的底层范式——把词映射成向量在连续空间里更新表示最后在词表上估计分布。变的是上下文承接方式和信息压缩的架构不变的是NNLM定义的基本学习框架。5.3 站在NNLM肩膀上的现代语言模型我经常建议学NLP的人往回看就是为了看清所谓大模型其实并没有跳出NNLM的范畴。双向预训练模型做的完形填空本质上就是给定左右两边词、预测中间缺失词训练目标和NNLM条件化概率估计异曲同工自回归式生成模型做的是给定前面所有词、预测下一个词这就是NNLM目标函数的直接放大版只是换成了更深层的Transformer、加入了海量语料和超大算力。甚至连效率技巧都有源头。现代大规模模型在输出层用的自适应softmax、词表权重共享、逐批次负采样这些工程黑科技最早都是为了解决NNLM输出层体积过大这个瓶颈而被发明出来的。理解了NNLM再去看大模型里五花八门的优化技巧很多都能对号入座。6. 常见问题与排查技巧实录我把做NNLM训练与复现过程中最典型的问题整理成一张速查表这些都是踩过一遍后才能闭眼说出来的经验。问题现象常见原因排查与解决loss一直不降学习率过大/过小、特征窗口太小、未归一化文本先检查loss数值量级适当降低或上调学习率把窗口从3提高到58确认文本中不存在没有分离的乱码词loss突然变成NaN梯度爆炸多发生在输出层训练循环里加梯度裁剪建议clip值为1.0同时降低学习率到1e-4观察恢复训练集loss很低、验证集一塌糊涂过拟合语料太少或模型无用正则增大dropout到0.3以上、加上早停、合理扩充语料输出层计算慢得不可接受词表V太大每次全词表softmax成本过高训练前可改用负采样或候选采样推断时可以先取top-k再做softmax或者直接使用分层softmax训练样本里OOV未知词过多词表切分与预处理不一致或语料太小统一预处理管线全部未知词映射到同一个unk标记不要为每个乱码单独赋予id困惑度很低但下游任务反而效果一般困惑度只衡量预测分布质量与下游任务目标不完全一致在真实下游任务分类、生成上直接验证模型能力不要只看ppl这里挑一条最常见的工程经验再展开文本预处理会极大影响最终效果但又是最容易被忽视的部分。我在一个略大的中文语料上只做了一件事——把所有标点统一成半角、全角数字统一成阿拉伯数字或直接归一化模型困惑度下降了一截。NNLM非常敏感于输入空间的稳定性同一个语义如果被切成了四五种不同的词形它就得白白浪费大量参数量去学习“这些词其实出现在相同位置”。把词表做大到几十万还不管控词形变化通常不是聪明选择宁可用更规范的词表加unk兜底。关于困惑度还有一个实操判断经验窗口越短ppl通常越低因为预测任务变简单了。所以跨模型对比ppl时一定要固定窗口长度、词表和预处理方式否则对比结果没有意义。同一套语料下token级别的困惑度在50以下已经说明模型学得像模像样200以上意味着基本还在瞎猜阶段。但ppl从不等于“模型好不好用”翻译质量和生成连贯性才是最终裁判。最后分享一个训练中的小技巧。想观察词向量是否真在学法不用等到训练全部结束训练到第4060轮就取一次embedding做降维可视化。你会看到那些语义相近、共现模式相似的高频词先聚在一起这是模型正在成功编码分布特征的信号。如果训了几十轮后可视化结果还是一团乱麻、看不出任何聚类多半是学习率没调好或者预处理有脏数据别让训练继续硬跑回头检查数据管线更划算。这种“中途验尸”的习惯我一直觉得比跑完再回头排错要省时间得多。