AI 必知必会-调优：self-consistency

一. 背景最近在做 AI agent发现 agent 针对某一类问题的时候很难一次性得到正确的答案因此引入了新的设计方案self - consistency新技术相比生产的技术方案在目标收益上有明显改善因此专门记录整理下。二. 技术简介Self- Consistency自洽性投票在 AI Agent 或者大模型开发中主要是通过采样多条推理路径然后对结果进行投票的技术方案设计。最早由 Google Research 于 2022 年的论文《Self-Consistency Improves Chain of Thought Reasoning in Language Models》中提出核心思想“正确推理趋向于收敛而错误则随机发散”。你可以把它理解为让同一个模型对同一个问题从多个不同角度进行思考然后选择那个被最多思路所支持的答案。需要注意的是模型本身对推理出正确内容要是带有 正态分布趋势的如果对错的概率一致那这个优化本身并不能起到任何作用。三. 技术原理探索不同的路径 通过提高模型的 temperature 参数让模型在同一个问题上给出不同的思路和答案错误的答案是发散的正确的答案是收敛的少数服从多数四. 技术实现流程实现上可以分为三步采样将同一个问题以较高的模型温度重复跑 N 次模型每次都会输出独立的思维链及答案。收集收集这 N 次的不同答案投票针对不同的答案进行投票以少数服从多数的原则投票出来的那个就是输出答案。五. 技术方案的优缺点优势● 实现简单● 效果显著缺点● 增加计算成本● 只关注计算结果推理过程可能会丢失六 参考文献AI面试八股文 Vol.1.3 | 专题5Self-Consistency Self-Consistency 不是 ToT采样 投票的工程逻辑与面试雷区