text-generation-webui 本地部署实操从装环境到第一次对话的 5 步【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen想在自家机器上跑大模型又不想啃命令行最省事的一条路就是用 text-generation-webui 做本地部署大模型装好依赖、丢一个模型文件、浏览器里开聊全程数据不出机器。 装之前先回答三个问题问 1你拿来干什么只聊天、写长文默认配置就够还要给别的程序当 OpenAI 兼容 API 用启动时加--api参数缺了它API 端口不会监听别的程序连不上。问 2你的硬件是什么模型规模必须按硬件定硬加载太大的模型结果只有两个加载失败或者慢到没法用。你的硬件建议规模说明纯 CPU 机器7B 及以下GGUF 4bit走 llama.cpp 后端内存占用最低8GB 显存7B 级 4bit 量化显存省量的平衡点12–16GB 显存7B–13B13B 质量更好24GB 显存 / 多卡13B–70B70B 先估算显存再动手问 3它和别的方案什么关系它是统一界面层底层可在 llama.cpp、Transformers、ExLlamaV3、TensorRT-LLM 等后端之间切换覆盖 GGUF、16 位、EXL2 等多种格式换格式不用重装环境。 部署路径三选一路径 1一键脚本新手推荐git clone https://gitcode.com/GitHub_Trending/te/textgen然后cd textgen按系统跑启动脚本Linux 执行./start_linux.shWindows 执行start_windows.batmacOS 执行./start_macos.sh提示选 GPU 厂商时按实际情况选脚本会自动装好 Miniforge 和 Conda 环境全程不用手动装依赖完整安装约需 10GB 磁盘装完终端打印地址浏览器打开http://127.0.0.1:7860就是主界面以后每次启动重跑同一个 start_ 脚本即可路径 2手动 venv轻量不需要训练、图像生成这些后端时可以走 portable 模式python -m venv venv建虚拟环境并激活pip install -r requirements/portable/requirements.txt装依赖再python server.py --portable --api --auto-launch启动。装得快但只支持 GGUFllama.cpp格式模型。路径 3容器化docker/ 目录备好了 nvidia、amd、intel、cpu 四套配置。以 nvidia 为例把docker/nvidia/Dockerfile和docker-compose.yml软链到根目录编辑.envTORCH_CUDA_ARCH_LIST按显卡型号填APP_RUNTIME_GID填宿主机用户组 ID填错容器内文件权限会错乱最后docker compose up --build构建完成同样监听 7860 端口。✅ 5 分钟首次验证把模型放进user_data/modelsGGUF 单文件直接丢多文件模型config.json加分片先放进一个子文件夹再整体放入在Model选项卡确认模型出现在列表里点 Load切到Chat选项卡发一句“用一句话介绍你自己”回复逐字流式输出就说明环境就绪了。 跑通后的两个实战动作自定义角色打开 user_data/characters/Example.yaml只改三处——name角色名、greeting开场白、context人设描述保存后角色就会出现在 Chat 的角色选择框里对话风格立刻跟着你写的人设走。长文写作 调参Notebook选项卡是一块纯文本工作台文本自动保存适合写文档草稿逻辑在 modules/ui_notebook.py。生成效果在Parameters选项卡调逻辑在 modules/ui_parameters.py两个最关键的旋钮temperature控制随机性事实问答给 0.1–0.3创意写作给 0.7–1.0top_p常用 0.95参考 user_data/presets/Top-P.yaml越低输出越保守。改动即时生效不用重启调满意后存成 preset下次一键加载。❓ 高频问答Q模型放进去了Model 选项卡不显示A路径必须在user_data/models下多文件模型要确认config.json和所有分片齐全。 验证Model 选项卡下拉列表里能否看到文件名。Q加载失败、启动报错A头号原因是文件损坏或只下了一半。 验证对照来源站核对文件大小重新下载一次。QPython 版本对不上、依赖装不全A别混用系统 Python用脚本自带的 Conda 环境或按硬件选对 requirements/full/ 下的文件CPU 用户选requirements_cpu_only.txt再pip install -r 对应文件 --upgrade补装。 验证重跑 start_ 脚本看依赖检查是否顺利通过。Q纯 CPU 跑得慢A换 GGUF 格式走 llama.cpp 后端配 4bit 或 8bit 量化。 验证同一句话对比量化前后的每秒生成 token 数。Q怎么装 TTS 之类的扩展A把扩展文件夹放进user_data/extensions启动时传--extensions 扩展名现成例子在 extensions/。 验证界面里是否出现对应功能的按钮或输入区。Q报错怎么定位A终端往回翻到第一个 TracebackDocker 用户执行docker compose logs。 验证第一条错误指向哪个阶段就能确定是装依赖、载模型还是生成环节的问题。收尾装环境、丢模型、发一句话三步闭环就是本地部署大模型的全部门槛。下一步很明确挑一个 7B 的 GGUF 模型放进user_data/models开始你的第一段对话。更多细节可翻 docs/ 目录里的分主题文档。【免费下载链接】textgenOpen-source desktop app for local LLMs. Text, vision, tool-calling, OpenAI/Anthropic-compatible API. 100% private.项目地址: https://gitcode.com/GitHub_Trending/te/textgen创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考