人工智能大模型计算机视觉媒体生成视频【免费下载链接】Minimax_h3_latent_Upscaler项目地址https://ai.gitcode.com/hf_mirrors/LBH-123-AI/Minimax_h3_latent_Upscaler点击查看免费下载Minimax_h3_latent_Upscaler是面向 Minimax H3 视频生成的潜空间放大器Latent Upscaler它直接作用在 H3 的 24 通道 VAE latent 上在保持时间维度的前提下提升空间分辨率H×W。与传统解码回像素域再放大的做法不同它跳过了约 5B 参数重型 VAE 的 decode → 像素域放大 → encode 往返让高分辨率视频生成的等待时间大幅缩短。一、先搞懂像素域超分为什么慢如果你用先生成、再超分的老思路完整链路是这样的步骤做什么代价1. 解码decode用 H3 的约 5B 参数 VAE 把 latent 变回像素视频逐帧重计算显存和算力消耗巨大2. 像素域放大传统超分模型或插值算法放大画面在完整分辨率上跑卷积最贵的一步3. 再编码encode把放大后的像素视频压回 latent 供后续 refine又一次全量 VAE 前向问题在于latent 空间的体积只有像素空间的 1/256空间方向 16×16 下采样再加 24 通道 vs 3 通道。像素域超分相当于把数据膨胀到最大体积之后才处理而潜空间放大则相反——在数据最浓缩的阶段就完成上采样。Minimax H3 的 latent 空间规格可以从根目录的家族索引文件 config.json 中查到latent_channels: 24—— 24 通道 3D VAEspatial_downsample_factor: 16—— 空间分辨率压缩 16 倍temporal_downsample_factors: [1, 2, 2, 1, 1, 1]—— 时间维度压缩 4 倍也就是说一个 1280×704 的画面在 latent 里只有 80×44在这么小的张量上跑放大器速度自然是像素域的几十倍。二、潜空间放大是怎么学会的直接把 latent 做双线性/双三次插值虽然快但会产生明显的重影 / 双像伪影ghosting。Minimax_h3_latent_Upscaler 的答案是用神经网络学习 latent 空间内的上采样分布而不是简单地拉长格子。2.1 架构一览3D 卷积主干 时序卷积当前 v1 版本采用 3D 卷积主干LatentResizer3D架构规格见 minimax_h3_latent_upscaler_3d_conv_v1/config.json配置项值作用输入 / 输出通道24 → 24与 H3 VAE latent 完全对齐基础通道数channels512特征表达宽度in/out blocks12 12插值前后各 12 个残差块时序卷积temporal_every2每 2 个残差块插入一次时序卷积核temporal_kernel5只在时间维做局部卷积上采样方式upsample_modetrilinear三线性插值插值只负责拉长细节交给网络补参数量345,280,216约 3.45 亿轻量级推理负担小前向流程一句话概括conv_in → in_blocks12块→ 三线性插值放大 H×W → out_blocks12块→ norm_out → conv_out2.2 三个关键设计分别解决三个问题① 三线性插值放在网络中段而不是当最终结果插值先把 H、W 拉大时间维 T 保持不变随后 12 个残差块负责修复插值造成的模糊。这相当于给网络一张粗略草稿再由它精修——比从零生成快得多。② 时序卷积TemporalConv保证视频帧间一致每 2 个残差块插入一个kernel(5,1,1)的深度可分离时间卷积只在时间维度做局部传播。效果是相邻帧的画面细节彼此打招呼避免单帧放大导致的闪烁和抖动而且因为它在时间维是局部的长视频可以精确地分块temporal chunking推理显存友好。③ 缩放倍率作为条件嵌入scale conditioning架构中scale_emb_input: scale - 1把放大倍数编码成 64 维嵌入注入每个残差块。这意味着同一个模型支持 1.0×–4.0× 任意小数倍率步进 0.1默认 2.0×不需要为每个倍数单独训练。2.3 训练数据为什么要均衡分布模型在约80,000 组配对样本低清 latent 高清 latent上训练其中约 70,000 组视频、约 8,000 组 2K 图像。缩放比例分布如下缩放倍数占比2×40%最常用倍数重点强化1.5× / 2.5× / 3× / 4×各 10%1.0×–4.0× 任意小数10%泛化保障这种主用倍数 长尾覆盖的配比让它在你随手设置 2.3× 这种非整倍数时依然表现稳定。三、完整工作流三步得到高清视频 Minimax_h3_latent_Upscaler 的设计目标是加速高分辨率 H3 视频生成标准用法是低分辨率生成—— latent token 数量大幅减少扩散模型阶段速度显著更快潜空间内放大—— 用本模型直接上采样 latent无需解码回像素目标分辨率 refine—— 在放大后的 latent 上重采样恢复最终细节。配合 ComfyUI 自定义节点安装到ComfyUI/custom_nodes/把权重放入ComfyUI/models/latent_upscale_models/然后在video/MinimaxH3菜单中添加Minimax H3 Latent Upscaler (3D)节点接入LATENT选择模型并设置scale即可。仓库内提供了两个可直接导入的 ComfyUI 工作流模板图生视频场景minimax_h3_i2v_Latent Upscaler example workflow2.json参考生视频场景minimax_h3_r2v_Latent Upscaler example workflow3.json节点在加载时会从 state dict 自行推断架构不依赖任何 config 文件——后者是供下游工具读取的机器可读规格。四、三个精度版本怎么选v1 的三套权重都在minimax_h3_latent_upscaler_3d_conv_v1/目录共用同一套 3D 卷积架构文件精度体积推荐场景minimax_h3_latent_upscaler_3d_conv_v1_bf16.safetensorsbfloat16~691 MBAmpere / Ada 显卡速度最快⚡minimax_h3_latent_upscaler_3d_conv_v1_fp16.safetensorsfloat16~691 MB速度与显存的平衡之选默认推荐minimax_h3_latent_upscaler_3d_conv_v1_fp32.pthfloat32~1.38 GB追求最高数值精度 普通用户直接下载bf16RTX 30/40 系或fp16兼容更广即可两者都是.safetensors格式官方推荐优先。五、总结快在哪里好在哪里一句话回顾核心逻辑快在 1/256 体积的 latent 上运算跳过 5B 参数 VAE 的 decode → 放大 → encode 往返省去最贵的两趟前向好神经网络学习 latent 上采样分布避免朴素插值的重影 / 双像伪影时序卷积保证帧间一致、长视频可精确分块灵活单模型覆盖 1.0×–4.0× 连续倍率同一权重同时支持视频与图像放大。潜空间放大并不是省事的妥协方案而是视频生成分辨率提升的正规路径——先低清、后放大让算力花在刀刃上。项目基于 Apache-2.0 许可证开源。赞分享人工智能大模型计算机视觉媒体生成视频【免费下载链接】Minimax_h3_latent_Upscaler项目地址https://ai.gitcode.com/hf_mirrors/LBH-123-AI/Minimax_h3_latent_Upscaler点击查看免费下载相关推荐为什么模型视觉不是OCRpxpipe图像识别原理与像素级密度的终极揭秘为什么模型视觉不是OCRpxpipe图像识别原理与像素级密度的终极揭秘 pxpipe 是一个把 Claude Code 的文本上下文渲染成图片、用视觉 Tok为什么选择RMStoreiOS内购开发的5大核心优势解析为什么选择RMStoreiOS内购开发的5大核心优势解析 RMStore是一款轻量级的iOS内购开发库专为简化应用内购买流程而设计。无论是新手开发者还是有经移动开发5大理由为什么ReactPlayer成为React视频播放的明智选择5大理由为什么ReactPlayer成为React视频播放的明智选择 ReactPlayer是一个功能强大的React组件专为播放各种URL而设计包括文件前端UI组件音视频上一篇Spooty未来路线图即将推出的7大新功能预览下一篇RabbitMQ 3.7.13 维护版本技术解析绑定同步修复、CLI 增强与各插件 Bug Fix 全解读创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考