简介这份资源面向机器学习进阶学习者与研究者聚焦变分贝叶斯、粒子滤波及边缘粒子滤波三类概率推断与状态估计方法帮助读者打通从理论推导到MATLAB实现的完整链路。包内共44个文件以27个PDF理论课件、12个MATLAB脚本.m为主另含2个PPTX讲义、2个Jupyter Notebook与1份说明文档压缩包约64.48MB覆盖变分推断、蒙特卡洛、隐马尔可夫模型、动态模型与神经网络等主题。内容源自徐亦达老师机器学习课件既有概率图模型与贝叶斯推断的系统讲解也配有粒子滤波、卡尔曼滤波、GMM、LDA吉布斯采样等可运行代码便于对照公式调试与复现。目前已有649人学习下载适合希望深入理解非线性非高斯系统估计、并借助脚本快速验证算法的读者。1. 从一份课件包说起变分贝叶斯、粒子滤波和边缘 PF 到底能解决什么如果你正在做状态估计、主题模型或者非线性动态系统追踪大概率绕不开三个词变分贝叶斯、粒子滤波、边缘粒子滤波。这份资源把徐亦达老师的机器学习课件和一批 MATLAB 代码打包在一起覆盖了从概率基础到变分推断、从蒙特卡洛到粒子滤波的完整链路。它不是那种只给结论的速查表而是带着推导过程、配着可运行脚本的教学材料。适合两类人一类是刚接触贝叶斯方法、需要从公式到代码走一遍通路的入门者另一类是做工程落地、想找参考实现来对照自己代码边界条件的老手。课件里包含vb_normal_gamma.m、particle_filter.pdf、kalman_demo.m这些具体文件意味着你能直接看到变分更新公式怎么写成循环、粒子权重怎么归一化、重采样触发条件怎么设。下面按“先理解选型理由再动手复现最后避开常见翻车点”的顺序拆开讲。2. 变分贝叶斯在 MATLAB 里怎么落地从vb_normal_gamma.m看更新公式与收敛判断变分贝叶斯的核心思路是用一个简单分布族去逼近真实后验通过最大化证据下界来间接最小化 KL 散度。课件里variational.pdf和vb_normal_gamma.m配成一对前者给推导后者给实现。很多教程只讲公式但真正写代码时你会发现三个卡点初始值怎么设、坐标上升什么时候停、超参数更新顺序会不会影响结果。这一章把这三个问题拆开用可运行的 MATLAB 片段说明。2.1 为什么选变分贝叶斯而不是 MCMC从计算成本说起MCMC 能给出渐近精确的后验样本但每次迭代都要遍历全量数据遇到高维参数空间时收敛慢得让人想砸键盘。变分贝叶斯把推断转成优化问题虽然牺牲了一点精度但换来了可预测的迭代次数和更低的内存占用。课件里markov_chain_monte_carlo.pdf和variational.pdf放在一起意图很明显先让你理解 MCMC 的采样逻辑再看变分怎么用确定性近似替代随机采样。具体到vb_normal_gamma.m它处理的是正态-伽马共轭模型。共轭结构的好处是后验分布形式已知变分更新可以写成闭式解不需要梯度下降。常见做法是初始化超参数后交替更新隐变量后验和参数后验直到下界变化小于阈值。我一般会把阈值设在1e-6到1e-8之间太小会白跑迭代太大则结果还没稳定就停了。2.2 坐标上升更新代码逐段拆解与参数说明下面这段代码模拟了vb_normal_gamma.m的核心循环结构我加了注释说明每一步在做什么。% 初始化超参数 mu0 0; kappa0 1; alpha0 1; beta0 1; % 数据 X randn(100, 1) * 2 5; N length(X); % 初始化变分参数 mu_q mean(X); kappa_q kappa0; alpha_q alpha0; beta_q beta0; max_iter 500; tol 1e-8; elbo_prev -inf; for iter 1:max_iter % 更新 q(mu) 的参数 kappa_q kappa0 N; mu_q (kappa0 * mu0 sum(X)) / kappa_q; % 更新 q(tau) 的参数 alpha_q alpha0 N / 2; E_tau alpha_q / beta_q; % 当前对精度 tau 的期望 beta_q beta0 0.5 * sum((X - mu_q).^2) 0.5 * kappa0 * (mu_q - mu0)^2; % 计算 ELBO简化版只保留关键项 elbo 0.5 * log(kappa_q) alpha_q * log(beta_q) - gammaln(alpha_q) ... - 0.5 * kappa_q * beta_q; % 注意实际 ELBO 需包含更多项 % 收敛判断 if abs(elbo - elbo_prev) tol fprintf(Converged at iteration %d\n, iter); break; end elbo_prev elbo; end逻辑说明循环里先更新mu的后验参数再更新tau的后验参数这是坐标上升的标准顺序。kappa_q控制均值估计的置信度alpha_q和beta_q控制精度估计的分布形状。参数说明kappa0是先验的等效样本数设太小会让后验被数据完全带跑设太大会压制数据影响beta0是先验的尺度参数通常设成和alpha0匹配的值。收敛判断用 ELBO 变化量但注意上面 ELBO 是简化写法实际课件里会包含更多期望项你跑的时候要看variational.pdf里的完整公式。2.3 收敛曲线怎么读下界震荡和参数漂移的排查跑完上面的循环建议把每次迭代的 ELBO 存下来画一条曲线。正常情况下曲线单调上升然后趋于平缓。如果出现震荡常见原因是更新顺序不对或者某个超参数初始值太极端。我遇到过beta0设成1e-3导致前几十次迭代 ELBO 先降后升的情况后来把beta0调到1就正常了。另一个坑是数据没标准化X的尺度太大时beta_q更新会溢出表现为 ELBO 变成NaN。解决办法很简单跑之前先做zscore(X)让数据零均值单位方差。3. 粒子滤波从particle_filter.pdf到可运行脚本权重更新、重采样与边缘 PF 的差异粒子滤波用一组带权样本近似后验分布适合非线性非高斯场景。课件里particle_filter.pdf给理论kalman_demo.m给线性对照adaptive_rejection_sampling.m给采样策略参考。这一章先讲标准 PF 的实现步骤再对比边缘 PF 在结构上的改动最后给一个可复现的 MATLAB 骨架。3.1 标准粒子滤波的三步循环预测、更新、重采样标准 PF 每轮迭代做三件事从状态转移模型采样新粒子、根据观测模型计算权重、按权重重采样。下面代码用一维非线性模型演示状态方程x_k 0.5*x_{k-1} 25*x_{k-1}/(1x_{k-1}^2) 8*cos(1.2*k)观测方程y_k x_k^2/20。N 500; T 50; x zeros(1, T); y zeros(1, T); x(1) 0.1; for k 2:T x(k) 0.5*x(k-1) 25*x(k-1)/(1x(k-1)^2) 8*cos(1.2*k); end y x.^2 / 20 randn(1, T) * 0.1; % 观测噪声 particles randn(1, N) * 1; % 初始粒子 weights ones(1, N) / N; x_est zeros(1, T); for k 1:T % 预测从转移模型采样 particles 0.5*particles 25*particles./(1particles.^2) 8*cos(1.2*k) randn(1, N)*0.5; % 更新计算权重 likelihood exp(-0.5 * ((y(k) - particles.^2/20).^2) / 0.1^2); weights weights .* likelihood; weights weights / sum(weights); % 归一化 % 估计 x_est(k) sum(weights .* particles); % 重采样系统重采样 if 1 / sum(weights.^2) N / 2 % 有效粒子数阈值 cdf cumsum(weights); u rand(1, N) / N; new_particles zeros(1, N); j 1; for i 1:N while u(i) cdf(j) j j 1; end new_particles(i) particles(j); end particles new_particles; weights ones(1, N) / N; end end逻辑说明预测步给每个粒子加过程噪声更新步用观测似然调整权重重采样步在有效粒子数低于阈值时触发。参数说明N取 500 是精度和速度的折中低于 100 时估计会明显抖动过程噪声标准差0.5和观测噪声标准差0.1要匹配实际系统设错会导致权重退化或粒子发散。有效粒子数公式1/sum(weights.^2)是常用判据阈值取N/2是经验值。3.2 边缘粒子滤波改了什么edge PF的交互模型与重采样策略边缘粒子滤波在标准 PF 基础上引入了粒子间的交互结构。课件里particle_filter.pdf有专门一节讲边缘 PF核心改动在预测步每个粒子的状态转移不再只依赖自身历史还受邻居粒子影响。常见做法是定义一个邻接矩阵A预测时把邻居粒子的加权状态加进来。重采样策略也要改不能只按单个粒子的权重还要考虑局部一致性。我一般会先用标准 PF 跑通再把预测步改成particles A * particles noise的形式观察估计误差是否下降。如果误差反而变大多半是邻接矩阵没归一化或者交互强度设得太高。3.3 用kalman_demo.m做对照验证线性场景下的精度基准kalman_demo.m给的是卡尔曼滤波实现线性高斯场景下它是最优估计。你可以用同一组数据分别跑 PF 和卡尔曼比较均方误差。如果 PF 的误差比卡尔曼大很多说明粒子数不够或者噪声参数设错了。这个对照实验能帮你快速定位是算法实现问题还是参数问题。我习惯把卡尔曼估计画成红线PF 估计画成蓝线真值画成黑虚线一眼就能看出 PF 有没有发散。4. 避坑与排查粒子退化和变分下界不收敛的常见原因这一章列几个我实际踩过的坑每个都按现象、原因、解决三步写。你跑课件代码时如果遇到类似情况可以先对照排查。4.1 粒子权重全部退化到同一个粒子现象跑了几十步后weights里只有一个元素接近 1其余全是 0估计值不再变化。原因观测似然太尖锐或者过程噪声太小导致大部分粒子落在观测高概率区域之外。解决增大过程噪声标准差或者在权重更新前对似然做平滑比如加一个小的常数1e-300防止下溢。另一个办法是改用辅助粒子滤波在预测步就考虑观测信息。4.2 变分下界出现NaN或负无穷现象迭代几次后 ELBO 变成NaN参数更新停止。原因beta_q更新时数据尺度太大导致数值溢出或者alpha_q初始值太小使gammaln返回无穷。解决先对数据做标准化把alpha0和beta0设成大于 1 的值。如果还不行检查variational.pdf里的公式有没有漏掉常数项有时候少写一个log就会让下界计算错误。4.3 重采样后粒子多样性丢失现象重采样后粒子几乎一模一样后续预测步无法覆盖真实状态。原因系统重采样是确定性复制高权重粒子被反复选中。解决改用多项式重采样或残差重采样或者在重采样后加一个小的抖动噪声。课件里adaptive_rejection_sampling.m给了一种自适应拒绝采样思路可以参考。4.4 边缘 PF 的邻接矩阵维度不匹配现象预测步报错说矩阵维度不一致。原因A的大小是N x N但particles是1 x N直接乘会出错。解决把particles转置成N x 1再乘或者用A * particles然后转置回来。我一般会在预测步之前加一句assert(size(A,1) length(particles))做检查。4.5 课件代码路径和当前工作目录不一致现象运行gmm_demo.m时报找不到函数或数据文件。原因课件里有些脚本依赖相对路径直接在当前目录跑会找不到data文件夹。解决用cd切到脚本所在目录再运行或者把数据文件夹加到 MATLAB 搜索路径里。常见做法是在脚本开头加addpath(genpath(pwd))但注意别把整个磁盘都加进去。5. 进阶技巧用gibbs.m和dirichlet_process.m做非参数贝叶斯扩展课件里gibbs.m、dirichlet_process.m、chinese_restaurant_process.ipynb构成一条非参数贝叶斯的学习线。gibbs.m给吉布斯采样骨架dirichlet_process.m给狄利克雷过程实现chinese_restaurant_process.ipynb用中餐馆过程直观解释聚类。如果你想从参数模型过渡到非参数模型这三个文件是最好的起点。先跑gibbs.m理解条件分布采样怎么写成循环。然后看dirichlet_process.m重点观察浓度参数alpha怎么控制新簇的产生概率。alpha越大新簇越多alpha太小所有数据会被分到少数几个簇里。我一般会从alpha 1开始试然后根据聚类数量调整。chinese_restaurant_process.ipynb可以在 Jupyter 里跑用可视化方式看顾客坐桌过程比纯看公式直观得多。另一个进阶方向是把变分贝叶斯和粒子滤波结合用变分下界指导粒子权重更新。课件里vb_normal_gamma.m和particle_filter.pdf没有直接给这种混合实现但你可以把变分更新得到的近似后验作为粒子滤波的建议分布。具体做法是先用变分迭代得到q(mu)和q(tau)然后从q里采样粒子而不是从先验里采样。这样粒子会更集中在高概率区域减少退化风险。我试过在一个目标跟踪场景里用这个思路粒子数从 1000 降到 300 还能保持差不多的精度。验证方法很简单固定随机种子分别跑标准 PF 和变分引导 PF比较均方误差和有效粒子数。如果变分引导版本的误差更小且有效粒子数更高说明建议分布确实起了作用。注意变分迭代本身有计算开销如果模型简单可能得不偿失。从那以后我每次用粒子滤波之前都会先问自己一句建议分布能不能用变分近似一下能的话就先跑一轮变分再决定粒子怎么撒。希望帮到你。本文还有配套的精品资源点击获取