ToonCrafter 一键上手两张静态卡通图直接补成16帧动画【免费下载链接】ToonCrafter[SIGGRAPH Asia 2024, Journal Track] ToonCrafter: Generative Cartoon Interpolation项目地址: https://gitcode.com/GitHub_Trending/to/ToonCrafter手里只有两张静态的卡通关键帧想让中间的过程自己动起来ToonCrafter 做的卡通关键帧插值正好干这个给模型一张起始图、一张结束图它基于预训练的图生视频扩散先验直接补出 16 帧的过渡动画。读完这篇你会跑通从环境搭建、权重加载到 mp4 输出的一条完整链路顺手把几个最容易翻车的参数也摸清楚。先看清它的能力边界能补什么不能补什么把 ToonCrafter 理解成一个补帧引擎输入是两张 512×320 的卡通静帧输出是一段 16 帧的 mp4中间每一帧都是模型自己画出来的。它的能力边界大致长这样维度现状单次生成帧数最多 16 帧首尾两帧锚定在你给的输入图上输出分辨率512×320横版构图运行方式纯推理加载预训练权重即可不用在自己数据上训练运动控制可选给稀疏草图能引导动作走向适用对象卡通 / 动画风格两帧构图差异过大时过渡容易跳变它不做的也很明确不会微调、不出 16 帧以上、也不保证每对输入都能一次出好效果——生成本身带随机性这是扩散模型的常态。把环境、模型和第一条命令一次铺好整条路径其实就四段命令。先克隆仓库进到项目根目录git clone https://gitcode.com/GitHub_Trending/to/ToonCrafter cd ToonCrafter再建环境装依赖Python 版本跟着 requirements.txt 走 3.8.5 比较稳里面锁了 torch 2.0.0、xformers 这类对版本敏感的包别随意换conda create -n tooncrafter python3.8.5 conda activate tooncrafter pip install -r requirements.txt然后是权重。把 ToonCrafter_512 的model.ckpt下载下来放进它期望的位置mkdir -p checkpoints/tooncrafter_512_interp_v1 # 把下载好的 model.ckpt 放进上面这个目录路径对了之后一条命令就能出片sh scripts/run.sh脚本默认读取 prompts/512_interp/ 里的示例图对和文字描述结果落在results/下。不想敲命令的话还有个更省事的走法——起一个本地 Gradio 页面浏览器里传图、点按钮就行python gradio_app.py看懂它补出来的这16帧拿默认示例看下面左边是输入的起始帧右边是输入结束帧中间那段动画完全出自模型之手。输入起始帧输入结束帧插值出的过渡动画对应关系很直白16 帧里首尾两帧基本锚定在你给的两张图上中间 14 帧由模型负责脑补。值得留意的是细节——人物表情从惊讶到缓和的过渡是渐进的背景的绿色护栏和铁轨全程稳定没有扩散视频常见的背景漂移或闪烁。这也是它和普通两帧交叉溶解的本质区别它是在画连续动作不是在糊两张图。想对动作再多管一点还有稀疏草图这条支线在关键帧之外再给几张随手画的线条草图模型会顺着你的笔意走。草图引导输入引导后的插值结果参数怎么调才不翻车核心参数都集中在 scripts/run.sh 里结构定义在 configs/inference_512_v1.0.yaml最常碰的是这几个参数作用建议值ddim_stepsDDIM 采样步数越多细节越足、耗时越长默认 50显存紧张时降到 25~30frame_stride生效帧率FPS值越小动作幅度越大5~30 之间默认 10video_length生成总帧数16也就是模型上限--height/--width输出帧尺寸320 × 512别轻易改大--unconditional_guidance_scale文本与图像条件的引导强度默认 7.5seed采样随机种子不满意就换比如 123 → 42遇到状况时按这个思路自救显存不够甚至 OOM先把ddim_steps从 50 降到 25~30画质只会轻微下滑耗时和显存却能明显省下来动作看起来僵硬、两帧之间像跳变把frame_stride从 10 往 8 甚至更低调放大动作幅度还是别扭就叠一组稀疏草图给模型指个方向同一组图对反复出不满意的结果别死磕参数换个seed重跑——生成本来就是随机的重跑一次往往就顺了。ToonCrafter 出自 SIGGRAPH Asia 2024 的研究项目代码与模型权重都已开源研究用途没有授权门槛。接下来一个很自然的玩法把你自己的两帧关键帧替换进prompts/512_interp/配上prompts.txt里的文字描述再跑一遍scripts/run.sh再往深一步可以试试草图引导那条路看看自己随手几笔线条能把动作带成什么样。【免费下载链接】ToonCrafter[SIGGRAPH Asia 2024, Journal Track] ToonCrafter: Generative Cartoon Interpolation项目地址: https://gitcode.com/GitHub_Trending/to/ToonCrafter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考