【免费下载链接】Naive-N0.5-Flash项目地址https://ai.gitcode.com/hf_mirrors/NaiveAI/Naive-N0.5-Flash点击查看免费下载Naive-N0.5-Flash 是一款开源 MoE 大模型309B 总参数、15.5B 激活参数专为编程与 AI 研发打造原生支持100 万 token 上下文。本文带你完整看懂它的 MiMo-V2.5 基座来源、混合注意力架构、MIT 许可与社区贡献方式。 Naive-N0.5-Flash 是什么一句话概括它是一个为用 AI 研发 AIBuilding Frontier AI with AI而生的前沿 MoE 模型。核心亮点原生 1M 上下文无全注意力层混合 SWA滑窗注意力 DSA稀疏注意力AI 优化的推理系统 NaiveRT标准模式约 50 tokens/s/用户极速模式最高 2000 tokens/s开源权重 APIMIT 许可API 输入 / 输出 / 缓存读取分别为 $0.10 / $0.40 / $0.01 每百万 token完整介绍见 README.md。 模型核心参数一览属性规格架构混合专家Mixture-of-Experts总参数 / 激活参数309B / 15.5B上下文长度原生 1M tokensTransformer 层数48注意力层构成39 个 SWA 层 9 个 DSA 层SWA 窗口128 tokensDSA token 选择骨干注意力取 Top 2,048 tokensDSA KV 分组4GQA4Indexer 查询头16这些参数都能在 config.json 里逐一对应例如num_hidden_layers: 48、sliding_window: 128、index_top_k: 2048、max_position_embeddings: 1048576。️ 从 MiMo-V2.5 基座进化而来Naive-N0.5-Flash 基于小米MiMo-V2.5开源基座构建。核心改造是把原本的全局注意力层替换为 DeepSeek 稀疏注意力DSAIndexer索引器用 16 个查询头扫描全部历史为每个 token 打分骨干注意力只对选出的Top 2,048 tokens计算注意力大幅降低百万级上下文下的计算与内存开销网络由8 个六层模块组成标准模块为5 个 SWA 层 1 个 DSA 层两种注意力均带 sink bias。混合 SWA–DSA 架构与 DSA 模块示意可查看架构图资源 hybrid-swa-dsa-architecture.svg。⚙️ 训练过程3.25T token 多阶段训练在架构改造后模型以原生 1M 上下文完成了3.25T token的多阶段训练50B tokensIndexer 预热Indexer Warmup3T tokens稀疏注意力训练Sparse Attention Training200B tokens学习率衰减LR Decay这一过程既让模型适配新的稀疏注意力结构也显著提升了 AI 研发与编程能力。 如何快速部署 Naive-N0.5-Flash最快配置方法Naive-N0.5-Flash 支持FP8 混合精度推理官方推荐采样参数temperature1.0、top_p0.95见 generation_config.json。一键安装依赖pip install transformers[torch,kernels]5.17.0加载并生成from transformers import AutoModelForCausalLM, AutoTokenizer model_id NaiveAI/Naive-N0.5-Flash-FP8 tokenizer AutoTokenizer.from_pretrained(model_id, trust_remote_codeTrue) model AutoModelForCausalLM.from_pretrained(model_id, trust_remote_codeTrue, dtypeauto, device_mapauto) inputs tokenizer.apply_chat_template([{role: user, content: Hello!}], add_generation_promptTrue, return_dictTrue, return_tensorspt).to(model.device) output model.generate(**inputs, max_new_tokens2048)注意模型权重约315 GB需要支持 FP8 的 NVIDIA GPU 并预留额外显存。权重以 49 个分片存放例如 model-00001-of-00049.safetensors。⚖️ MIT 许可详解为什么它对开发者最友好Naive-N0.5-Flash 以MIT License发布见 LICENSE。这意味着你可以自由地使用、复制、修改、合并、发布、分发、再许可甚至出售其副本——商业与开源项目都能放心集成是 AI 模型里非常友好的绿灯许可对想二次开发或私有化部署的团队尤其友好。 文件结构导览与社区贡献指南这是一个标准的 Hugging Face 模型仓库核心文件各司其职文件作用README.md项目总览、架构、基准、部署说明config.json模型超参数层数、窗口、注意力布局configuration_naive_n05_flash.py自定义配置类NaiveN05FlashConfigmodeling_naive_n05_flash.py模型前向实现MoE、Indexer、注意力chat_template.jinja对话模板支持推理 / 思考模式开关tokenizer.json · vocab.json · merges.txt分词器与词表special_tokens_map.json特殊 token 映射generation_config.json默认生成参数LICENSEMIT 许可如何参与贡献新手三步走读总览先看 README.md 了解架构与评测口径抠源码在 modeling_naive_n05_flash.py 中定位NaiveN05FlashAttention、NaiveN05FlashIndexer、NaiveN05FlashMoE等类理解混合 SWA–DSA 的注意力与路由逻辑跑复现用 config.json generation_config.json 的默认参数本地验证再通过官方渠道反馈、协作。 基准测试表现模型在编程 / Agent 任务SWE-Bench Pro、Terminal-Bench 2.1、DeepSWE 等与AI 研发任务PostTrainBench、MLE-bench-30、PaperBench、SOL-ExecBench 等上均达到前沿水平编程与 Agent 任务结果图coding-benchmarks.pngPDF 版AI 研发任务结果图ai-rd-benchmarks.pngPDF 版评测默认使用 1M 上下文窗口、temperature 1.0、top-p 0.95。 参考文献引用格式misc{naiveai2026naiven05flash, title {Naive-N0.5-Flash: Building Frontier AI with AI}, author {{NaiveAI Team}}, year {2026}, url {https://naive.ai/en/research/} }结语Naive-N0.5-Flash 把前沿 MoE 架构、原生百万上下文与友好的 MIT 许可打包给社区是理解如何用混合 SWA–DSA 降低长上下文成本的绝佳范例。无论是部署试用、二次开发还是研究借鉴都值得一试。赞分享【免费下载链接】Naive-N0.5-Flash项目地址https://ai.gitcode.com/hf_mirrors/NaiveAI/Naive-N0.5-Flash点击查看免费下载相关推荐axios-cache-interceptor 与常见缓存方案对比为什么选择它而不是其他方案axios cache interceptor 与常见缓存方案对比为什么选择它而不是其他方案 在现代前端开发中高效的 HTTP 请求缓存是提升应用性能和用从0到1Win11Debloat开源项目MIT许可证全解析与贡献指南从0到1Win11Debloat开源项目MIT许可证全解析与贡献指南 为什么开源协议对Windows优化工具至关重要 当你使用 Win11Debloat.p桌面应用CLICANN最大公约数算子实现gcd_ascend — Ascend C GCD Operator float16, 4D ND, Broadcast 概述 一个基于 Ascend C 的最示例工程CANNAscend上一篇SystemTrayMenu你的Windows桌面效率革命告别混乱的终极解决方案下一篇告别反复格式化U盘Ventoy插件系统完整配置指南一个U盘装遍所有系统创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考