【HCIA- AI（正课）】3.2 大模型业务流程

大模型业务流程介绍预训练有监督微调RLHF模型评估大模型使用与提示工程如何使用大模型提示工程及基础方法高阶提示方法提示框架总结本次为华为 AI 认证备考的大模型核心知识点串讲课程覆盖前置知识、全流程、微调、评测、提示词等模块内容如下前置知识点与课程定位 - 已授核心基础模块基础知识点核心基础为梯度下降、链式求导法则已覆盖对抗生成网络、Transformer 架构、扩散模型典型代表等内容。已完成实验内容已开展 ChatGLM 模型转换实验原始 24G 模型经格式转换、INT4 量化后最终体积压缩至 3.2G。课程定位说明第二章内容为 IP、IE 认证的核心铺垫本次课程为第三章业务流程的核心基础讲解服务于 IP 认证备考。大模型预训练与分布式并行策略预训练核心特征与链路预训练核心属性是大模型开源前的全流程处理环节核心特征为海量多模态数据、十亿级参数规模依托 Transformer 注意力机制保障能力。预训练后完整链路预训练完成的通用模型需依次经过有监督微调SFT、奖励模型RM、RLHF 三个环节最终生成行业专属模型。分布式并行核心方案三类基础并行模式分别为数据并行拆分数据至多节点计算后汇总梯度、张量并行拆分张量维度并行计算、流水线并行按层接力计算更新参数。计算图相关说明张量并行涉及计算图逻辑静态图提前规划执行效率高但调试难度大动态图调试灵活但效率偏低华为框架采用动静结合设计。认证考点特殊说明考试中混合并行为正确选项可包含三类基础并行及 MOE 专家并行不存在“参数并行”的标准表述单卡显存不足时优先选用张量并行。大模型微调技术体系全量微调与适配器基础逻辑有监督微调SFT核心作用是教会预训练模型按要求输出表达需调整大部分模型参数存在算力消耗大、易导致预训练知识混乱的缺点。适配器微调核心冻结预训练模型主体参数仅训练新增的小型插件模块具备算力消耗低、不会遗忘原有知识的优势为当前行业主流方向。主流适配器分支方案基础适配器方案包含前缀微调Prefix Tuning输入前加专属虚拟 token 仅训练前缀、提示词微调Prompt Tuning仅训练 embedding 层新增参数两类。LoRA 低秩微调通过两个低秩小矩阵的旁路结构实现参数更新参数量仅为全量微调的数十分之一效果接近全量微调为 IE 认证 Lab 核心考点。强化学习环节核心目标是实现模型输出与人类偏好对齐需在 SFT 之后开展先人工对多答案排序再训练奖励模型打分引导模型输出最优解。大模型评测体系现状评测核心与维度评测核心目标验证模型的知识能力、安全性、垂直领域适配性判断模型是否满足落地部署要求避免输出错误率高、稳定性差的问题。主流评测维度分为知识与能力、伦理与安全、垂直领域适配三大方向典型基准包含 GLUE 通用语言理解基准、多学科测试集、各行业专属测试集。行业现存痛点大模型能力覆盖范围广行业缺乏统一评测标准各厂商均有自有评估体系人工标注评测成本高整体仍处于快速迭代阶段。提示词工程核心方法基础与高阶方法基础提示词分类分为零样本提示无参考案例直接输出结果、少样本提示提供参考案例引导模型按规则输出两类均为 IE 认证核心考点。高阶核心技术思维链CoT为当前通用技术通过引导模型分步推理实现复杂逻辑输出所有主流大模型均已内置该能力。提示词框架与模型说明提示词框架逻辑主流包含 APE、CARE、TRAC、TAG 等框架核心作用是结构化拆解需求无需过度追求复杂话术清晰传递需求即可。主流模型说明当前市面主流开源闭源模型能力差异较小华为盘古大模型为闭源行业专属模型聚焦政务、气象等垂直领域不纳入认证考核范围。后续工作计划核心知识点巩固需重点掌握各类微调技术的核心逻辑为后续 IP、IE 阶段的深入学习、实验操作及考核做好准备。提示词实验练习可参考官方手册使用豆包、DeepSeek 等工具自主完成提示词相关实验熟悉基础方法的实际应用。