细调Ornith-9B用Unsloth从加载到LoRA微调的5步上手指南【免费下载链接】Ornith-1项目地址: https://gitcode.com/gh_mirrors/or/Ornith-1本文是一份面向新手的大模型微调教程Ornith-9B 是开源 Agent 编程模型家族 OrnithMIT 协议中最轻量的一档适合个人显卡玩。我们将用 Unsloth 微调框架通过 5 个步骤完成从加载 Ornith-9B、配置 LoRA到产出可部署微调检查点的完整流程单卡即可上手。为什么选 Ornith-9B 做本地微调Ornith 是为 Agent 任务工具调用、终端编程、代码仓库问答优化的推理模型回复默认先输出think思考链再给出答案。9B 是其中的稠密模型官方定位为「单卡部署与微调」的最佳选择️显存友好全精度只需一张 80GB GPU配合 Unsloth 的 4bit 量化加载显存需求进一步降低256K 长上下文262,144 tokens微调长文本任务也够用能力上限高同家族的模型在 SWE-bench Verified、Terminal-Bench 等基准上表现抢眼9B 底座本身就有很强的 Agent 编程底子⚖️MIT 协议可自由微调、商用与分发上图来自官方 README.md 的基准对比SWE-bench Verified、GPQA Diamond 等指标均位居前列说明 Ornith 9B 底座有充足的细调空间。5 步流程总览步骤做什么关键工具1安装 Unsloth 微调框架pip install unsloth2加载 Ornith-9B 模型FastLanguageModel.from_pretrained3配置 LoRA 参数get_peft_config4准备数据集并训练SFTTrainer5保存、合并与验证save_pretrained_merged第 1 步准备环境安装 Unsloth 微调框架准备一台带 NVIDIA GPU 的机器装好 PyTorch 后执行pip install unsloth 硬件建议全精度微调 9B 模型需要 80GB 显存的显卡使用 4bit 量化加载则可以在显存更小的卡上完成训练这对新手非常友好。第 2 步用 FastLanguageModel 加载 Ornith-9Bfrom unsloth import FastLanguageModel model, tokenizer FastLanguageModel.from_pretrained( Ornith-1.5-9B, # 也可换成 Ornith-1.0-9B max_seq_length8192, load_in_4bitTrue, )两个关键参数load_in_4bitTrue4bit 量化加载官方示例的推荐配置能显著节省显存max_seq_length训练序列长度上限。模型本身支持 262144 tokens但新手建议从 4096~8192 起步确有需要再调大第 3 步配置 LoRA 微调参数peft_config FastLanguageModel.get_peft_config()这一行会基于模型结构自动推断target_modules默认覆盖注意力与 MLP 的主要投影层并给出一套合理的默认值秩 r 与 lora_alpha 通常为 16。LoRA 只训练少量低秩矩阵所以 9B 模型用单卡即可跑动产出的适配器也只有几十 MB 大小。⚠️ 注意Ornith 是推理模型训练数据里助手回复应包含think思考块再跟最终答案保持与官方推理格式一致。第 4 步准备数据集并启动 LoRA 训练对话数据使用 JSONL 格式每行是一个消息列表{messages: [ {role: user, content: 问题内容}, {role: assistant, content: think…思考链…最终答案} ]}然后交给 SFTTrainerfrom unsloth import SFTTrainer import datasets dataset datasets.load_dataset(json, data_filesmy_data.jsonl)[train] trainer SFTTrainer( modelmodel, tokenizertokenizer, train_datasetdataset, peft_configpeft_config, max_seq_length8192, ) trainer.train()第 5 步保存、合并与验证微调结果model.save_pretrained(ornith-9b-lora) # 保存 LoRA 适配器 tokenizer.save_pretrained(ornith-9b-lora)只微调、要部署把 LoRA 适配器目录交给推理框架加载即可想要完整模型调用save_pretrained_merged将适配器合并回底座即可用 vLLM / SGLang 部署验证时的采样参数建议沿用官方推荐temperature0.6、top_p0.95、top_k20微调常见问题速查问题建议解法显存不足OOM开启load_in_4bitTrue并调小max_seq_length长样本被截断调大max_seq_length或提前把超长样本切分输出格式和官方不一致检查训练数据是否保留了think思考块推理效果不如预期检查采样参数是否为官方推荐的 0.6 / 0.95 / 20相关项目资料官方文档与部署示例README.md含 vLLM / SGLang 一键部署命令与 Unsloth 加载样例开源协议LICENSEMIT 协议可自由微调使用【免费下载链接】Ornith-1项目地址: https://gitcode.com/gh_mirrors/or/Ornith-1创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考