简介面向政企单位内网环境与IT运维人员这是一份DeepSeek离线部署实战指南。资源针对无互联网场景下的AI知识库建设覆盖离线资源准备、环境部署、数据导入与访问控制四大环节。离线资源包括模型离线包、Ollama安装包、客户端及可选RAG依赖并给出完整性校验与导入方法部署支持Windows Server、Linux含国产化系统和macOS多平台。同时提供两种RAG实现路径基于Cherry Studio投喂数据的方案尤其适合新手安全部分重点讲解Ollama API访问控制、Lobe Chat权限及宝塔面板加固并讨论国产化系统与CPU架构兼容。全文按保姆级教程组织步骤清晰便于直接落地。资源为单份PDF大小5.28MB已有1372人学习适合需要在内网快速搭建可用AI知识库的运维人员和技术爱好者。1. 先搞懂一个概念内网AI知识库到底是什么为什么这么难如果你在政企单位、学校机房或者任何不能随便连外网的环境里工作大概见过这种场面同事兴冲冲跑来说“AI这么好用我们也部署一个吧”结果发现网上下载模型要几十个G命令一行行复制进去全是超时好不容易把安装包拷进内网了又不知道接下来该怎么配置最后只能对着屏幕发愁。这篇文章要解决的就是这件事。所谓内网AI知识库说人话就是在一个完全不能访问互联网的局域网环境里把大模型跑起来再把你自己的文档、制度、资料“喂”给它让它能基于你公司的内部资料回答问题。它的价值很直接——数据不出内网安全可控不用排队等云端服务你可以把内部流程、产品手册、维修记录统统交给它。DeepSeek是当前很合适的底座模型而这套离线部署方案把它拆成了一条看得见的路准备离线包、装Ollama、跑模型、喂数据、做权限控制。适合谁就是有基本电脑操作能力、但没搞过大模型的运维和技术爱好者。接下来我们从零开始把这套流程彻底走通。2. 动手前先备粮离线资源到底要准备哪几样新手最容易犯的错就是拿着在线教程直接在内网里执行命令然后发现各种失败。原因很简单——内网没有外网而大模型部署的绝大多数工具都需要从外网下载。所以有句老话特别适合这里内网部署七分在准备三分在安装。我们先把要用到的资源清点清楚。2.1 三大核心组件模型、运行时、客户端整个离线部署体系里有三样东西缺一不可。第一是模型本身也就是DeepSeek的权重文件这是AI的“大脑”第二是运行时环境我们用Ollama来承担这个角色它负责把模型跑起来对外提供接口第三是客户端比如Cherry Studio或者Lobe Chat这种图形界面让你不用敲命令也能和AI对话。模型文件这块入门的话建议去Hugging Face或者ModelScope上搜“deepseek”找到GGUF格式的文件下载。GGUF是Ollama能直接识别的模型格式相当于已经切好的菜拿回家就能下锅。你需要同时准备两样一个是对话模型比如deepseek-r1系列从7B到70B参数都有另一个是向量模型比如nomic-embed-text后面做RAG知识库时要用它把文档转成向量没有它知识库的记忆功能就是空谈。2.2 Ollama离线安装包三平台获取方式有讲究Ollama是在内网里跑模型的核心引擎它本身也是一个需要离线安装的软件。不同系统的获取方式不太一样Windows最简单去官网下载安装包一个exe文件拷进内网双击就行Linux稍微绕一点需要在一台能上网的机器上执行curl -fsSL https://ollama.com/install.sh | sh安装完去/usr/bin或/usr/local/bin目录下找到ollama这个二进制文件拷走macOS的方法和Linux一致。我第一次部署的时候以为只要把二进制文件拷过去就完事了结果发现光有文件还不够还得手动配启动服务。这里踩了一个大坑但也让我意识到准备阶段多想一步部署阶段就能少折腾两个小时。2.3 客户端的两种选择桌面版和网页版怎么取舍客户端决定了你平时怎么和AI打交道。桌面客户端推荐Cherry Studio它对新手异常友好尤其是数据投喂做RAG这部分几乎是傻瓜式操作网页客户端推荐Lobe Chat它的优势在于多人共用——你在服务器上部署一套内网所有人都能用浏览器访问不用每台电脑都装软件。Lobe Chat用Docker部署很常见它提供了一个镜像所以你需要在联网机器上先拉取镜像再导出。到这里我提醒一句资源准备阶段不要追求一口气全弄完按“模型→Ollama→客户端→可选RAG依赖”的顺序来每弄好一样就标记一样心里有数才不会乱。2.4 传输内网与完整性校验这一步绝不能省资源拿到了怎么弄进内网常见方案有这么几种U盘或移动硬盘最直接但要注意物理安全模型文件特别大时可以用硬盘拷贝或者内网共享文件夹安全性要求极高的环境可以走安全网闸。如果模型超过单个文件的大小限制记得先分割再传输。文件传完之后还要做一件重要的事——校验完整性。你辛辛苦苦传了几十个G的文件进去结果发现文件损坏那心态真的会崩。校验方法很简单在Linux或macOS上执行sha256sum /path/to/your/model/fileWindows上用PowerShell执行Get-FileHash -Algorithm SHA256 /path/to/your/model/file把结果和下载页面提供的哈希值对比一致就说明文件没坏。这一步是后悔药花不了几分钟但能避免后面所有环节的连环翻车。3. 从零跑通第一步在Windows Server上把DeepSeek跑起来资源备齐之后就进入真正动手的环节了。本章先以最常见的Windows Server为例从安装Ollama到加载模型再到客户端连接一步步走完整个链路。这就像学做饭先跟着做一道最简单的菜后面举一反三就轻松了。3.1 安装Ollama与配置环境变量安装本身很简单双击安装包一路“下一步”就行。关键在于安装完的环境变量配置。右键“此电脑” → 属性 → 高级系统设置 → 环境变量在系统变量里新建或编辑下面这两个OLLAMA_HOST0.0.0.0:11434 OLLAMA_MODELSD:\ollama\modelsOLLAMA_HOST设置为0.0.0.0:11434意味着允许内网其他机器通过11434端口访问这台服务器的Ollama服务。如果你只需要本机使用改成localhost:11434就行。OLLAMA_MODELS是模型存放路径默认在C盘建议改到空间充足的盘符——模型文件动辄几十GC盘很容易被塞满。改完必须重启Ollama服务否则环境变量不会生效。3.2 导入离线模型Modelfile是那个容易忽略的细节Windows上导入模型有个小技巧。首先在你的模型文件目录下新建一个Modelfile文件内容只需一行写上模型文件名比如deepseek-r1-abliterated:7b。然后打开命令行cd 到模型所在目录执行ollama create deepseek-r1-abliterated:7b -f Modelfile ollama list第一条命令是告诉Ollama“我要把这个GGUF文件注册成可用模型”第二条命令用来验证是否导入成功如果在列表里能看到模型名称和大小就说明成功了。新手最容易在这里翻车的原因是Modelfile和模型文件没有放在同一目录或者文件名写错了一个字符。记住它们的名字要毫厘不差。3.3 客户端连接把Cherry Studio指向你的本地模型Ollama跑起来之后接下来用Cherry Studio连接。打开Cherry Studio进入设置找到模型服务把地址填成http://localhost:11434本机或http://服务器IP:11434其他机器模型名称填你刚才导入的名字比如deepseek-r1:7b。填完之后随意问一个问题如果收到了AI回复恭喜你已经在内网拥有了一个可用的AI服务。从这一秒开始数据完全在你的掌握之中不再需要依赖任何外部服务。3.4 防火墙放行与常见问题排查要让内网其他机器也能访问Windows防火墙必须要放行。最简单的方式是使用管理员权限的PowerShell执行netsh advfirewall firewall add rule nameollama dirin actionallow protocolTCP localport11434如果没有这条规则别人访问你的服务时只会看到“连接失败”而你自己在本机却一切正常。排查时先用Get-Process -Name ollama确认进程存活再用Get-Service Ollama查看服务状态最后看Windows事件查看器里有没有报错信息。按照“进程→服务→防火墙→日志”的顺序排查基本能找出来问题所在。4. 把知识喂给AI用Cherry Studio零代码实现RAG知识库模型跑起来只是第一步真正的重头戏是让AI“懂”你单位的资料。这就是RAG检索增强生成的用武之地——说白了就是先把你的文档拆成小块转成向量存起来你提问时AI先到这份“记忆库”里检索相关内容再结合检索结果回答。内网知识库的核心价值就在这一步让AI不再只是一个聪明但什么都不懂的通才而是一个熟悉你业务的老员工。4.1 先了解数据投喂的两种方式目前投喂数据有两条路线。一条是技术路线把文档分词、向量化用ChromaDB等向量数据库存起来再通过API调用这套流程灵活但门槛高。另一条是推荐路线直接用Cherry Studio客户端的知识库功能在图形界面上点几下鼠标完成RAG。入门的话强烈建议选后者把精力花在“用”上而不是花在调通底层代码上。4.2 第一个RAG实验三步完成数据投喂使用Cherry Studio操作整个流程可以拆成三步。第一步下载并导入向量模型。在Cherry Studio设置里找到模型管理添加之前的向量模型如nomic-embed-text这个模型负责把文档变成向量。添加时注意像对话模型一样也需要在Ollama里提前拉取或导入。第二步创建知识库。在Cherry Studio左侧找到知识库功能新建一个知识库然后把你手头的文档——不管是txt、pdf还是md格式——直接拖进去。软件会自动完成文档解析和向量化。这一步是真正的“零代码”比写脚本提取文本简单太多了。第三步在对话中引用知识库。新开一个对话开启知识库按钮选择你刚建的那个知识库然后提问比如“根据公司制度文档请假流程需要几步”此时AI的回答会基于你投喂的资料而不是凭空发挥。看回答的末尾有没有标注信息来源有就说明RAG已经生效了。4.3 让知识库更好用的三个小技巧第一文档格式尽量用txt或mdPDF解析偶尔会丢字尤其扫描版PDF效果最差第二文档命名要规范比如《考勤管理制度-v1.2.docx》AI更容易识别第三定期更新制度变了就把旧文档删掉传新文档知识库要跟制度同步否则回答的就是过时信息。5. 四个加固防线内网AI使用安全加固实战到了这一步AI已经能在内网为你服务了但还别急着庆祝。内网部署有一个隐蔽的风险如果Ollama的接口没有设置访问控制那么内网任何一个人只要能访问到11434端口就能直接调用你的模型接口甚至可以读取模型列表、上传模型。这属于很典型的未授权访问问题。这一章把常见的坑一次讲清楚并给出加固措施每一条按“现象→原因→解决”的顺序展开。5.1 踩坑一Ollama端口裸奔内网谁都能访问现象内网同事访问http://服务器IP:11434不用任何密码直接就看到了模型的API接口。原因默认状态下Ollama的API没有任何鉴权机制只要网络能通就能调用。这在在线环境问题不大因为通常有网关防火墙挡着但在内网大家处于同一个大网段相当于把自家大门敞开了。解决如果只给自己用把OLLAMA_HOST改成localhost:11434彻底断掉外部访问如果必须多人使用就走反向代理加访问控制不要让Ollama端口直接暴露。5.2 踩坑二只设了ACCESS_CODE却忘了改默认端口现象部署了Lobe Chat设了访问密码但别人还是能绕过登录直接访问。原因Docker启动时只映射了端口没限制来源IP访问码只能拦住页面入口但API端口可能还在裸奔。解决在使用Docker部署Lobe Chat时加上IP白名单限制或者把服务端口只绑定到内网网关IP不在0.0.0.0上监听。合规的做法是在防火墙层面加IP白名单只允许特定网段访问3210和11434端口。5.3 踩坑三内网面板安全设置不当现象用了宝塔面板之类的Web管理工具管理服务器结果把Ollama的API端口也暴露在了公网上。原因面板的功能是管理Web服务但如果你在面板里放行了Ollama的11434端口那等于在内网大门之外又开了一个后门其实完全没有必要——Ollama的API不需要公网访问。解决在面板防火墙中删除关于11434的所有放行规则只保留内网网段访问权限。如果确实需要远程管理用SSH密钥登录不要直接暴露API端口。这里我多说一句内网安全加固的核心思想不是“加更多密码”而是“减少暴露面”——不需要的端口一律不要对外开放。5.4 踩坑四中文操作系统下环境变量没生效现象明明配好了OLLAMA_MODELS结果启动后模型还是去默认目录找导致加载失败。原因Windows系统变量修改后没有重启Ollama服务或者变量名拼写有空格。解决一定要先在服务管理器中重启Ollama然后在命令行执行ollama list如果列表为空但目录里明明有模型文件那多半是路径配置没生效检查一遍拼写和路径是否包含中文空格。5.5 踩坑五以为一次加固就一劳永逸现象安全配置做完之后过了一段时间发现又被访问了。原因忽略了新加入的机器、新开的端口和变更的网段加固是一次性的内网环境是持续变化的。解决养个习惯每隔一阵检查一次端口开放情况在命令行执行netstat -ano | findstr 11434看看当前哪些IP在建立连接发现陌生连接马上排查。安全不是一次配置而是持续关注。6. 从能用到好用下一步学什么才不白费功夫走到这里你已经完成了一套内网AI知识库从零到一的搭建。但“能跑”和“好用”之间还隔着一段路。这段路怎么走我给出一条清晰的进阶路径。先做个基础排查模型回答速度慢调OLLAMA_NUM_THREAD增加线程数内存不够选更小的7B模型或量化等级更低的版本回答不准确先检查知识库文档有没有更新——这些都是最常见的优化点。接着建议把Linux部署学会。Windows能跑但生产环境里Linux更稳、更适合长期运行资源占用也更低。初次接触会觉得systemd配置有点难一旦跨过这个坎后续部署任何服务都驾轻就熟。然后建议学习Docker。Lobe Chat的部署、RAG依赖的迁移、多客户端的切换全都可以用容器统一管理极大降低踩坑成本。再往后值得研究的是国产化适配。项目文档里提到了操作系统兼容性、CPU架构兼容性、硬件兼容性这三个维度——简单说就是你的服务器是什么系统统信、麒麟等、什么CPUx86还是ARM、什么显卡决定了你该选哪个版本的Ollama和模型。有条件的可以准备一台国产芯片的机器专门做测试这是内网AI落地的关键一环不只是DeepSeek能跑还要跑在国产软硬件上才算完整。最后建议动手实现一次更完整的RAG流程。用Python脚本调用BGE向量模型、写入ChromaDB、再通过API查询——这条路比图形界面复杂得多但能极大地加深对RAG原理的理解因为你会看到每一个环节到底发生了什么。作为带过不少新手入门的人我有一点真实的体会分享给你这套部署的每一步网上都有零散的教程但最值钱的是把它们串成一条线。我从那次忘了做完整性校验导致模型损坏、重传几十G文件的经历之后每次都强制自己走一遍“下载→校验→传输→再校验→导入”的流程哪怕只是传一个小文件。这套流程本身就是经验把它保存下来下一次部署时你会比所有人更快。希望帮到你。本文还有配套的精品资源点击获取