简介这份资源围绕三阶张量的高阶奇异值分解HOSVD与Tucker分解展开面向从事数据分析、机器学习及多模态数据处理的学习者与研究者帮助理解张量降维、特征提取与奇异值计算的核心思路。压缩包共2个文件包含1个m源码文件与1份pdf参考文献整体约4.58MB源码可直接运行验证算法流程pdf则提供理论推导与公式依据便于对照学习。目前已有1638人学习下载说明该主题在张量分解方向具有一定关注度。通过源码与文献的配合读者可以掌握HOSVD如何构造各模式正交基、如何收缩张量并分解出核心张量与因子矩阵进而将其应用于图像压缩、推荐系统与特征提取等场景为高维数据处理项目提供可复用的实现参考与排错思路。1. 三阶张量 HOSVD为什么你的第一版 Tucker 分解总是对不上如果你手头有一批按「时间 × 传感器 × 工况」排布的三阶张量数据想用 HOSVD 做 Tucker 分解降维大概率会遇到一个很别扭的现象明明按公式算完了重构误差却比预期大或者因子矩阵的符号、列顺序每次跑出来都不一样。这不是你代码写错了而是 HOSVD 本身就不是唯一分解——它给的是「子空间」不是「唯一解」。HOSVD 全称 Higher-Order SVD本质是把矩阵奇异值分解推广到高阶对三阶张量沿每个 mode 做展开unfolding分别做一次 SVD得到三个因子矩阵再用它们把原张量投影到核心张量。它和 Tucker 分解的关系是HOSVD 是 Tucker 分解的一个「非迭代、直接算」的特例核心张量不保证是 all-orthogonal 的最优解但胜在快、可复现、适合做初始化。这篇文章面向的是已经拿到三阶张量、想把它压成低秩表示、又不想一上来就啃 HOOI 迭代的工程师。我会把 mode-n 展开、SVD 截断、核心张量计算、重构验证这条链路拆开参数怎么设、坑在哪都落到能直接抄的代码上。2. 三阶张量 HOSVD 的数学骨架与 mode-n 展开2.1 从矩阵 SVD 到张量为什么不能直接套矩阵的奇异值分解是 $A U \Sigma V^T$其中 $U$ 和 $V$ 是正交矩阵$\Sigma$ 是对角奇异值矩阵。到了三阶张量 $\mathcal{X} \in \mathbb{R}^{I_1 \times I_2 \times I_3}$你没法直接对一个三维数组做 SVD因为「对角」这个概念在高阶下变成了「核心张量」——它不再是对角而是一个小的三阶张量 $\mathcal{G} \in \mathbb{R}^{R_1 \times R_2 \times R_3}$满足$$\mathcal{X} \approx \mathcal{G} \times_1 U^{(1)} \times_2 U^{(2)} \times_3 U^{(3)}$$这里的 $\times_n$ 是 mode-n 乘积$U^{(n)}$ 是第 n 个 mode 的因子矩阵列向量张成该 mode 的子空间。HOSVD 的做法是对每个 mode 的展开矩阵做一次 SVD取前 $R_n$ 个左奇异向量组成 $U^{(n)}$然后反算核心张量。注意HOSVD 得到的核心张量不满足 all-orthogonality 的最优条件所以它是 Tucker 分解的一个「近似解」但计算代价极低。2.2 mode-n 展开三阶张量到底怎么摊平mode-n 展开unfolding是把张量沿第 n 个维度「切片再拼接」成矩阵。以 $\mathcal{X} \in \mathbb{R}^{3 \times 4 \times 5}$ 为例mode-1 展开固定第 1 维索引把剩下的 $(4 \times 5)$ 拉成行得到 $3 \times 20$ 矩阵。mode-2 展开固定第 2 维索引把 $(3 \times 5)$ 拉成行得到 $4 \times 15$ 矩阵。mode-3 展开固定第 3 维索引把 $(3 \times 4)$ 拉成行得到 $5 \times 12$ 矩阵。用 NumPy 实现时np.reshape配合transpose就能完成但顺序很容易搞反。我一般会写一个通用函数用np.moveaxis把目标 mode 移到最前再 reshapeimport numpy as np def unfold(tensor, mode): 对三阶张量做 mode-n 展开。 tensor: shape (I1, I2, I3) mode: 0, 1, 2 对应 mode-1, mode-2, mode-3 返回: shape (I_mode, 其余维度乘积) # 把目标 mode 移到第 0 轴 moved np.moveaxis(tensor, mode, 0) # 第 0 轴保留其余轴合并 return moved.reshape(moved.shape[0], -1)逻辑说明np.moveaxis(tensor, mode, 0)把第 mode 维换到最前面此时数组形状变为(I_mode, ...)再reshape成二维。参数mode从 0 开始计数对应数学上的 mode-1 到 mode-3。这个函数是后续所有步骤的基础写错一个轴后面因子矩阵的维度全乱。2.3 HOSVD 主流程三步拿到因子矩阵和核心张量完整流程分三步对每个 mode 做展开得到 $X_{(n)}$。对 $X_{(n)}$ 做 SVD取前 $R_n$ 个左奇异向量组成 $U^{(n)}$。计算核心张量 $\mathcal{G} \mathcal{X} \times_1 U^{(1)T} \times_2 U^{(2)T} \times_3 U^{(3)T}$。第 3 步的 mode-n 乘积可以用np.tensordot实现。下面是一个完整的最小可运行示例def hosvd(tensor, ranks): HOSVD 分解。 tensor: shape (I1, I2, I3) ranks: 元组 (R1, R2, R3)每个 mode 保留的秩 返回: factors 列表 [U1, U2, U3], core 张量 factors [] for mode in range(3): Xn unfold(tensor, mode) # mode-n 展开 U, S, Vt np.linalg.svd(Xn, full_matricesFalse) factors.append(U[:, :ranks[mode]]) # 截断到目标秩 # 计算核心张量依次做 mode-n 乘积 core tensor for mode in range(3): core np.tensordot(core, factors[mode].T, axes([0], [0])) # tensordot 后 mode 维跑到最后需要移回原位 core np.moveaxis(core, -1, 0) return factors, core逻辑说明np.linalg.svd返回的U是左奇异向量矩阵列按奇异值降序排列取前ranks[mode]列就是截断。核心张量计算时每次tensordot会把被乘的 mode 维放到最后所以用np.moveaxis移回第 0 轴保证下一轮 mode 顺序正确。参数ranks直接决定压缩率设得越小核心张量越小但重构误差越大。3. 参数怎么设秩选择、截断策略与重构误差评估3.1 秩 (R1, R2, R3) 的三种定法HOSVD 最关键的参数就是每个 mode 保留多少秩。常见做法有三种奇异值能量占比对每个 mode 的奇异值序列取累计平方和达到总平方和 90%95% 的位置。这是最稳的适合没有先验知识的场景。固定秩如果下游任务对维度有硬约束比如核心张量必须小于某个尺寸直接指定。肘部法画奇异值下降曲线找拐点。适合奇异值衰减明显的张量。我一般先用能量占比跑一遍看看每个 mode 需要多少秩再根据下游任务调整。下面这段代码可以一次性输出三个 mode 的推荐秩def recommend_ranks(tensor, energy0.95): 根据奇异值能量占比推荐每个 mode 的秩。 energy: 累计能量阈值默认 0.95 ranks [] for mode in range(3): Xn unfold(tensor, mode) _, S, _ np.linalg.svd(Xn, full_matricesFalse) cum_energy np.cumsum(S**2) / np.sum(S**2) r np.searchsorted(cum_energy, energy) 1 ranks.append(r) print(fmode-{mode1}: 推荐秩{r}, 累计能量{cum_energy[r-1]:.4f}) return tuple(ranks)参数energy设 0.95 还是 0.99取决于你对重构精度的要求。0.95 通常能压掉一半以上的维度0.99 会保留更多细节但压缩率下降。注意三个 mode 的秩不需要相同强行设成一样往往不是最优。3.2 重构误差怎么算才不骗自己HOSVD 做完必须验证重构误差。重构公式是$$\hat{\mathcal{X}} \mathcal{G} \times_1 U^{(1)} \times_2 U^{(2)} \times_3 U^{(3)}$$误差用相对 Frobenius 范数def reconstruct(core, factors): 从核心张量和因子矩阵重构张量 result core for mode in range(3): result np.tensordot(result, factors[mode], axes([0], [0])) result np.moveaxis(result, -1, 0) return result def relative_error(original, reconstructed): 相对 Frobenius 误差 return np.linalg.norm(original - reconstructed) / np.linalg.norm(original)这里有个容易翻车的点tensordot的轴顺序和moveaxis必须严格对应否则重构出来的张量形状对但数值全错。我习惯在重构后打印original.shape和reconstructed.shape做一次断言再算误差。如果误差大于 0.2说明秩设得太小或者展开方向搞错了。3.3 和 HOOI 迭代的差别什么时候该换HOSVD 的核心张量不满足 all-orthogonality所以它不是给定秩下的最优 Tucker 分解。HOOIHigher-Order Orthogonal Iteration通过交替最小二乘迭代能进一步降低重构误差通常比 HOSVD 低 10%30%。但 HOOI 需要初始化而 HOSVD 的结果正好是 HOOI 最常用的初始化。我的习惯是先用 HOSVD 快速拿到因子矩阵和误差基线如果误差可接受就直接用如果不够再把 HOSVD 结果喂给 HOOI 迭代几轮。这样既省时间又不会陷入随机初始化的玄学。4. 避坑与排查HOSVD 落地时最容易翻车的 5 个点4.1 现象因子矩阵符号每次跑出来不一样 → 原因SVD 符号不确定性 → 解决固定符号或只比较子空间np.linalg.svd返回的奇异向量符号是不确定的同一份数据两次运行可能得到相反的列。这不是 bug是 SVD 的固有性质。如果下游任务对符号敏感比如要做因子解释可以在得到U后对每一列强制让绝对值最大的元素为正def fix_sign(U): 固定因子矩阵符号每列绝对值最大元素为正 for j in range(U.shape[1]): idx np.argmax(np.abs(U[:, j])) if U[idx, j] 0: U[:, j] -U[:, j] return U如果下游只关心子空间比如做投影、分类符号不影响结果不用管。4.2 现象重构误差突然变大 → 原因mode 展开顺序和 tensordot 轴不匹配 → 解决用断言校验形状这是最常见的翻车点。unfold时 mode 从 0 开始tensordot时axes([0], [0])乘的是当前第 0 轴但乘完之后 mode 维跑到最后必须moveaxis移回。少移一次或者移错位置形状可能碰巧对但数值全乱。我的做法是在reconstruct里加一行assert result.shape original.shape再算误差。如果误差大于 0.5先检查展开和乘法的轴顺序而不是急着调秩。4.3 现象核心张量某个维度比原张量还大 → 原因秩设得比原始维度大 → 解决秩上限取 min(I_n, 其余维度乘积)HOSVD 的秩 $R_n$ 不能超过展开矩阵的秩而展开矩阵的秩上限是 $\min(I_n, \prod_{i \neq n} I_i)$。如果你设的 $R_n$ 超过这个值U[:, :R_n]会取不满NumPy 不报错但核心张量维度异常。建议在hosvd函数开头加一行校验for mode in range(3): max_rank min(tensor.shape[mode], np.prod(tensor.shape) // tensor.shape[mode]) assert ranks[mode] max_rank, fmode-{mode1} 秩超限: {ranks[mode]} {max_rank}4.4 现象数据量一大内存爆掉 → 原因full SVD 计算全量奇异向量 → 解决用截断 SVD 或随机 SVDnp.linalg.svd默认算全量奇异向量对于大张量展开矩阵可能非常大。如果只需要前 $R_n$ 个奇异向量用scipy.sparse.linalg.svds或sklearn.utils.extmath.randomized_svd可以只算前 k 个内存和时间都省一个量级。参数k设成目标秩加 10 左右留一点余量再截断。4.5 现象重构误差和理论值对不上 → 原因忘了 HOSVD 不是最优分解 → 解决用 HOOI 做基线对比HOSVD 的误差天然比 HOOI 高如果你拿 HOSVD 的误差去对标「Tucker 分解的最优误差」会觉得怎么调都差一截。正确的做法是先跑 HOSVD 记录误差再用它的因子矩阵初始化 HOOI跑 1020 轮看误差能降多少。如果降幅很小说明 HOSVD 已经接近最优如果降幅很大说明你的秩设得偏大HOSVD 没抓住主要结构。5. 进阶技巧用 HOSVD 做张量补全与秩自适应5.1 用 HOSVD 初始化张量补全HOSVD 除了降维还能用来做缺失值补全。思路是对含缺失的张量先用均值填充做一次 HOSVD用重构结果替换缺失位置再重新做 HOSVD迭代几轮。这就是所谓的「HOSVD 补全」def hosvd_completion(tensor, mask, ranks, iters20): tensor: 含缺失值的张量缺失位置填 0 mask: 布尔张量True 表示观测到False 表示缺失 ranks: HOSVD 秩 filled tensor.copy() for it in range(iters): factors, core hosvd(filled, ranks) recon reconstruct(core, factors) # 只在缺失位置更新 filled[~mask] recon[~mask] err np.linalg.norm((filled - recon)[mask]) / np.linalg.norm(filled[mask]) if it % 5 0: print(fiter {it}, 观测位置误差{err:.6f}) return filled参数iters一般 2050 轮就收敛ranks可以比纯降维时略大因为补全需要更多自由度。注意观测位置的误差才是真正要监控的指标缺失位置的「误差」没有意义。5.2 秩自适应别一次定死固定秩的 HOSVD 需要你提前知道每个 mode 保留多少。如果不知道可以用「秩递增」策略从较小的秩开始每次增加 1监控观测位置误差直到误差不再明显下降。下面这个表格是我在几个典型三阶张量上总结的经验值数据规模mode-1 秩mode-2 秩mode-3 秩压缩率典型重构误差50×60×4010128约 8%0.080.12200×150×100202515约 2.5%0.100.151000×800×500405030约 0.4%0.120.18压缩率 核心张量元素数 / 原张量元素数。可以看到秩不需要设得很大就能压到 10% 以下但误差会随压缩率上升。我的习惯是先把误差目标定在 0.15 以内再反推秩。5.3 一个我踩过的坑别在归一化之前做 HOSVD如果三个 mode 的量纲差异很大比如一个 mode 是时间秒级一个是温度摄氏度一个是压力帕斯卡直接做 HOSVD 会让量纲大的 mode 主导奇异值分布秩分配严重偏斜。正确做法是先对每个 mode 做标准化减均值除标准差再做 HOSVD重构后再反标准化。这一步不做后面调秩怎么调都不对。我现在养成的习惯是拿到三阶张量先检查每个 mode 的数值范围差两个数量级以上就先标准化再进 HOSVD 流程。希望帮到你。本文还有配套的精品资源点击获取