大模型1.目前关于大模型Large Models并没有统一的定义通常是指训练数据庞大、参数规模巨大、能力强大的深度神经网络模型。大模型的出现并非偶然而是数据、算力与模型架构协同演进的结果。数据规模的跃迁、算力基础设施的发展和Transformer架构优异的可扩展性共同推动了模型规模和性能的持续膨胀迎来了“大模型时代”。在大语言模型LLM及更一般的大模型研究中通常从参数规模、训练数据集规模和计算规模三个维度来度量模型的规模。大模型的分类分类标准类别示例按照模态分类大语言模型Qwen3/DeepSeek-V3/GPT-5语言模块多模态理解模型Qwen3-VL/GPT-5/Gemini-3多模态生成模型Stable Diffusion/DALL·E/Nano-Banana按照功能分类生成式大模型GPT-5/DeepSeek-V3/Qwen3嵌入模型BGE/E5/GTE重排序模型BGE-Reranker/ms-marco-MiniLM分类模型通常是经过微调的小尺寸模型、对比维度生成式大模型嵌入模型重排序模型分类模型核心任务内容生成语义编码相关性排序类别预测输出形式自然语言/图像/音频高维向量相关性分数类别标签模型规模百亿~千亿参数百万~亿级参数千万~亿级参数百万~千万参数计算成本极高极低中低低典型架构Transformer解码器Transformer编码器交叉编码器逻辑回归大模型是如何学会说话的现代大语言模型LLM的训练已形成稳定范式预训练Pre-Training 后训练Post-Training其中后训练通常包括监督微调SFT 对齐优化RLHF / RLAIF。阶段核心目标解决问题预训练学会语言和知识打基础“模型能不能说话”SFT学会按指令回答按标准做事“模型听不听话”RLHF / RLAIF学会人类偏好按偏好做事“回答好不好、对不对、安不安全”大模型如何落地训练Training与推理Inference是两个完全不同的计算过程训练对大量样本做前向计算计算损失再反向传播更新参数目标是“学到能力”。推理参数固定只做前向计算生成输出基于输入提示词自回归生成。大模型工程的实现AIGC人工智能生成内容Artificial Intelligence Generated Content是指以大规模预训练模型尤其是生成式基础模型为核心通过学习海量数据中的统计规律和语义结构在人类输入提示或条件约束下自动生成文本、图像、音频、视频、代码等多模态内容的技术与应用体系。简而言之AIGC就是用AI生成内容。AGIArtificial General Intelligence通用人工智能是指一种具备跨领域、跨任务的通用认知能力的人工智能形态能够在不同环境和目标下进行理解、学习、推理、规划与知识迁移并在缺乏明确任务定义或规则约束的情况下自主发现问题并制定解决策略其整体智能水平接近或超越人类。简而言之AGI是通用人工智能可以自主学习并解决大多数人类可以解决的问题。整理如下工程落地的 5 大模块从工程实现角度看大模型的应用主要可以分为五个模块提示词工程、RAG、微调、续训、智能体开发。1提示词工程这是最廉价的方式。开箱即用直接调用模型。可以通过提示词优化和提供示例的方式优化输出效果。2RAG当提示词工程不能达到预期效果时如果缺少参考知识可以尝试 RAG。RAG 会调用外部知识库。token 消耗往往比开箱即用略高但开发略微复杂。3微调如果提示词工程效果不好且原因是指令遵循能力较差、风格/话术不一致等可以尝试微调。微调需要收集数据并且要有硬件资源。4续训如果微调效果仍不理想且问题来自模型对领域语言/知识分布的系统性缺失可以考虑收集更多数据进行续训预训练。但前提是有充足的硬件资源。续训的硬件开销通常远高于微调。5智能体开发当其它方式无法解决问题时都可以尝试和智能体开发相结合。智能体会涉及大模型的多次调用token 开销较大开发难度较高。但从经济成本角度讲智能体开发单次开销不及微调和续训但长期成本可能更高。提示词怎么写提示词可以包含角色、任务、背景/上下文、输入数据、输出格式、质量与约束六个要素此外还可以提供输入输出示例。Zero-shot与Few-shotZero-shot 是指模型在没有任何示例的情况下完成任务。模型必须依靠其预训练知识和提示来生成答案。当零样本不起作用时建议在提示中提供演示或示例这种方法称为少量样本提示few-shot prompt即在要求模型执行实际任务之前给模型几个已完成的样例从而轻松“预热”语言模型让它为新的任务做好准备输出我们要求和期望的样式。结构化提示词就是把稳定约束放在 System把动态约束放在 User必要时用摘要状态压缩历史消息作为上下文从而降低 token 成本、提高一致性与可控性。#提示精灵https://www.promptgenius.site/#LangChain Hubhttps://smith.langchain.com/hub#GitHub地址https://github.com/f/awesome-chatgpt-prompts#提示词工程指南-中文版https://github.com/PartnerDAO/Prompt-Engineering-Guide-zh?tabreadme-ov-fileRAGRetrieval-Augmented Generation检索增强生成是一种结合信息检索Retrieval与文本生成Generation的技术AI应用接收到用户请求后先从外部知识库检索相关资料并将这些资料与用户请求一并提供给大模型模型在此基础上生成更准确、更有依据的回答。在经典智能体框架中智能体Agent一般指能够在环境中感知信息、基于策略做出决策并采取行动以最大化回报或满足目标约束的系统在大模型应用开发中智能体通常指一种以大语言模型为推理与决策核心结合记忆、工具调用与环境交互能力能够进行规划决策并执行动作以达成目标的软件系统。Function Call函数调用Tools call工具调用为模型提供了一种强大而灵活的方式使其能够与外部系统交互并访问其训练数据之外的数据从而拓展了模型的能力边界。MCP就像是AI时代的USB-C通用接口开发者只需按标准开发一次MCP Server任何支持该协议的AI应用都能即插即用。MCP 在一定程度上弥补了 Function Call 的不足协作困难MCP 协议允许开发者把工具暴露为 MCP Server可以被多个 AI 应用复用。适配负担重AI 应用只要把模型的 Function Call 格式映射为 MCP 的工具调用格式即可调用 MCP 服务器提供的工具。当模型切换时只需切换映射规则不必为每个模型维护一份描述信息一致性和维护成本大大降低。可靠性不足公开的 MCP Server 经过社区和众多开发者的共同检验其工具定义和元数据信息更加规范通常可靠性更高。一句话总结MCP 通过工具复用、统一调用格式和社区规范弥补了 Function Call 在协作、适配和可靠性方面的不足。