文章目录前言1. 7GB 的 27B 是怎么炼成的1.1 底座1.2 体重管理1.3 新花样Hadamard 旋转1.4 脑子1.5 两种打包1.6 证件2. 安装从编译到跑起来2.1 获取官方 fork2.2 编译Windows 两个坑2.3 下载模型2.4 启动脚本的两处变化3. 正赛PQ2_0 vs PTQ1_03.1 速度PQ2_0 完胜3.2 能力同一棵树的两个盒子4. 裁决5. 结尾P.S. 推荐一个大神的教程给想要了解或者学习人工智能知识的读者这个教程里内容讲解通俗易懂且风趣幽默对我帮助很大。我想与大家分享这个宝藏教程请点击下方链接查看 传送门https://blog.csdn.net/qq_74013365前言先说结论免得你等不及一个 27B 级别的模型一张 16GB 的 RTX 5060 Ti 就能跑显存只要 7GB262K 上下文还能开满。再翻译一遍以前这种事你只能想想现在你可以一边跑模型一边打开浏览器刷会儿视频显卡都不带哼一声的。1. 7GB 的 27B 是怎么炼成的这个模型叫 Ternary-Bonsai-2-27BPrismML 在 2026 年 9 月放出来的二代盆栽。它干的事一句话就能说清把 Qwen3.8-27B 塞进三进制里体积压到约 1/9然后拍拍手说你随便找个显卡跑吧。1.1 底座底座是 Qwen3.8-27B架构没动——混合注意力约 75% 线性 25% 全注意力、64 层、262K 上下文、0.46B 视觉塔。简单说心没换只是做了个全身抽脂。1.2 体重管理三进制 g128 权重每个权重只取 -1、0、1每 128 个共享一个 FP16 缩放。真实位宽 1.72 bpw理想体积 5.8GB约为 FP16 的 1/9.3。什么概念相当于一个人从 200 斤减到 21 斤还能正常上班。而且这次连 embedding 和 LM head 都是三进制的没有高精度后门——人家是实打实瘦的不是穿显瘦的衣服。1.3 新花样Hadamard 旋转权重在离线阶段做了分块 Hadamard 变换运行时对激活值做匹配变换。别管它原理是什么你就当模型出门前做了个发型发型师叫 Hadamard。模型卡写得很硬气运行时要么做这个变换要么拒绝加载。原版 llama.cpp 会直接拒载 PQ2_0/PTQ1_0老 fork 装新模型则会不报警地输出垃圾。注意这个措辞不报警输出垃圾。这种故障是最恶心的就像电梯坏了但故障灯没亮你按了 20 层它往 -1 层走还一脸无辜。所以配套的 fork 不是可选项是必需品——这模型没有差不多能跑这个选项只有正版和乱码。1.4 脑子官方 14 项 thinking 模式基准平均 84.78保留 FP16 约 98.2% 的智能数学 96.57跟全精度差不到半分编码 89.42跟基线持平。98.2% 是什么水平相当于你考试丢了 1.8 分但家长还是会问这 1.8 分到底哪丢的。作为对照传统 IQ2_XXS 只有 72.59。低比特领域通常位宽砍半、智商清零这棵树是那个例外——别人是砍价它是直接白嫖。1.5 两种打包PTQ1_0密集三值1.75 bpw5.95GB和 PQ2_0每个三值占一个 2-bit 槽位2.13 bpw7.21GB。同样的权重不同的装盒方式。就像同一个人一个穿紧身衣一个穿 oversize——谁更好看得跑起来才知道。1.6 证件Apache 2.0随便用。这年头能白嫖的模型不多了还带完整证件属于良心商家。2. 安装从编译到跑起来2.1 获取官方 fork前面说过原版 llama.cpp 不认识这格式必须用官方 fork。新读者直接克隆git clone https://github.com/PrismML-Eng/llama.cpp如果你像我一样装过一代时的旧版 fork光git pull不够——7 月的旧版本源码里连 PQ2_0 四个字母都搜不到README 里还写着PQ2_0: planned future fork format, not supported anywhere yet。三个月前还在说未来再说三个月后未来就到了请付款。对齐到最新即可cd llama.cpp git fetch origin git reset --hard origin/prism # 本地无改动直接对齐上游最新本文用的是 b107092.2 编译Windows 两个坑编译用 VS 2022 BuildTools CMake Ninja。50 系显卡Blackwell, sm_120要显式指定CMAKE_CUDA_ARCHITECTURES120——漏了它编译不报错、运行才玄学。编译期一片祥和运行期灵异事件这是显卡给你准备的惊喜盲盒。坑一上游的测试文件在 Windows 上编译不过。tests/test-dspark-forward.cpp用了 POSIX 的setenv/unsetenvMSVC 直接甩一脸 error C3861。我们又不跑它的测试跳过即可cmake -B build -G Ninja -DCMAKE_BUILD_TYPERelease -DGGML_CUDAON -DCMAKE_CUDA_ARCHITECTURES120 -DLLAMA_BUILD_TESTSOFF cmake --build build -j 8翻译这测试是给 Linux 老爷们准备的Windows 用户不配跑直接绕道。坑二--flash-attn必须带值。它的现代写法是--flash-attn on|off|auto。你不写值参数解析器会把排在后面的参数比如--temp抓过来当它的值吃掉报一句莫名其妙的unknown value for --flash-attn: --temp。这参数解析器像个饿急眼的看见参数就往嘴里塞嚼都不嚼。老老实实写on就没事。2.3 下载模型# 主模型二选一对比测试我两个都下了mmproj 必下 hf download prism-ml/Ternary-Bonsai-2-27B-gguf Ternary-Bonsai-2-27B-PQ2_0.gguf --local-dir . hf download prism-ml/Ternary-Bonsai-2-27B-gguf Ternary-Bonsai-2-27B-mmproj-Q8_0.gguf --local-dir .2.4 启动脚本的两处变化第一处chat template 直接用模型内置的不要外挂文件。背景是这样的——llama-server 用--jinja渲染对话模板模板可以来自 GGUF 内置也可以用--chat-template-file指定外部文件。一代的内置模板有条铁律——system 消息必须排在最前否则直接抛异常而服务器生成工具调用解析器时免不了要试探各种渲染两边一碰就 400。当时只能把模板导出成外部文件、改掉这两条殉爆规则才搞定。翻译一代的模板是个玻璃心顺序不对当场爆炸还得人哄着。二代的内置模板已经成熟还新增了 reasoning_effort 等参数这些折腾都不需要了直接--jinja读内置的少一个维护点。第二处采样参数跟着模型卡走。二代是默认开启思考的推理模型官方推荐 thinking 模式用 temp 1.0 / top-p 0.95 / top-k 20非思考模式才是 temp 0.7 / top-p 0.8照抄即可llama-server.exe -m Ternary-Bonsai-2-27B-PQ2_0.gguf --mmproj Ternary-Bonsai-2-27B-mmproj-Q8_0.gguf ^ -ngl 99 -c 0 --fit on --cache-type-k q4_0 --cache-type-v q4_0 --flash-attn on ^ --temp 1.0 --top-p 0.95 --top-k 20 --jinja --host 0.0.0.0 --port 8080服务器 10 秒完成加载262144 上下文直接拉满。日志里有一条无害的警告值得知道--fit on本来负责按剩余显存自动调整参数但你显式写了-ngl 99全部层上 GPU之后它就罢工了“n_gpu_layers already set by user, abort”。翻译你请了个助理助理刚想帮你安排行程发现你全安排好了当场辞职。模型本来就装得下当它不存在即可。3. 正赛PQ2_0 vs PTQ1_0官方吞吐表里没有 5060 Ti只说了Blackwell 卡上 PQ2_0 更快Ada 代和 L4 上 PTQ1_0 反超。纸面不如实测两个文件都下下来同机同参数跑一轮。3.1 速度PQ2_0 完胜环境RTX 5060 Ti 16GBfork b10709-ngl 99 -fa onllama-bench 默认测试指标PQ2_0 (7.21 GB)PTQ1_0 (5.95 GB)差距pp512提示处理976.9 t/s463.2 t/sPQ2_0 快 2.1 倍tg128文字生成47.9 t/s43.7 t/sPQ2_0 快 9.6%服务器实测生成~45.8 t/s~41.4 t/sPQ2_0 快约 11%最大上下文262144拉满262144拉满持平权重显存占用6.70 GiB5.53 GiBPTQ1_0 省 1.2 GiBpp512 快 2.1 倍。2.1 倍什么概念你排队买奶茶前面的人突然集体变成了点单三秒的狠人。生成阶段的差距约 10%符合PTQ1_0 少搬 17% 权重数据、但解包更费指令的官方解释——5060 Ti 的显存带宽还没穷到那份上解包开销先显形了。翻译省的那点搬运费全搭进拆包装的人工里了。提示处理是纯粹的计算密集型活PQ2_0 的 2-bit 槽位解包便宜直接打出 2.1 倍的碾压局。长文档、多轮对话、挂 Claude Code 这种 prefill 大户差距会非常直观。翻译你要是天天喂它长文档选错格式等于每天多等一半的时间。3.2 能力同一棵树的两个盒子两者装的是同一套三值权重理论上能力应该一致。用同一套题相同采样参数reasoning_effortmedium各问一遍覆盖六个领域题目PQ2_0PTQ1_0数学分部积分求 ∫₀^π x·sinx dx正确得 π步骤规范正确得 π步骤规范逻辑三个贴错标签的盒子策略正确推理完整策略正确推理完整编程O(1) LRU 缓存哈希表双向链表可直接运行哈希表双向链表可直接运行科学瑞利散射解释天空颜色正确蓝光散射约 6 倍于红光接近真实值正确但十几倍甚至数十倍偏大一处 LaTeX 没闭合写作秋日黄昏的旧车站散文意象凝练885 tokens 完稿通顺但略散1208 tokens 完稿知识CRISPR-Cas9 原理伦理正确覆盖全流程正确覆盖全流程最说明问题的一个细节两个模型都把贺建奎写成了贺建轩。同样的权重同样的错字连犯错都一模一样。这大概就是同卵双胞胎的默契连蠢都蠢得一模一样你都没法说谁带坏了谁。写作和个别表述的差异属于采样随机性不是能力差距。说白了同一棵树两个盒子果子一样酸。顺带一个使用提示这模型思考起来很舍得花 token写作题给 700 max_tokens 时两家都把预算全用在打草稿上、正文一个字没吐。这就像你问朋友借钱他先给你讲了半小时他的理财心得然后说没钱。调用时 max_tokens 要给思考留足余量或者用chat_template_kwargs: {reasoning_effort: medium}收敛一点。4. 裁决5060 Ti以及所有 Blackwell 卡无脑 PQ2_0。生成快 10%prefill 快一倍多能力完全一样16GB 显存两种都装得下、上下文都能开满——PTQ1_0 省的那 1.2GB 在这张卡上毫无存在感。就像你为了省两块钱绕路三公里到了发现油价都不止两块钱。PTQ1_0 的主场是老架构和极端带宽受限的环境官方数据里 4090、L4 上它反超不在我家。测完我就把 PTQ1_0 删了7GB 也是磁盘空间。成年人的世界删文件都是理性消费。5. 结尾从零部署的全部成本一次编译外加绕开一个 POSIX 测试文件、一次下载、一个启动脚本从一代升级更省脚本只改两行。换来的是 98.2% 的 FP16 智能保留度和 47.9 t/s 的本地 27B。二代目正式上岗。环境RTX 5060 Ti 16GB / PrismML llama.cpp fork b10709 / Ternary-Bonsai-2-27B PQ2_0 PTQ1_0 / Windows CUDA (sm_120)P.S. 推荐一个大神的教程给想要了解或者学习人工智能知识的读者这个教程里内容讲解通俗易懂且风趣幽默对我帮助很大。我想与大家分享这个宝藏教程请点击下方链接查看传送门https://blog.csdn.net/qq_74013365