我的知识库助手把一位离职员工的工号，一本正经地报给了客户——聊聊大模型幻觉这道坎

上个月有个客户跑来找我说他们刚上线的内部知识库助手闯祸了。有个销售在群里问某某客户我们这边对接的同事是谁助手张口就报了一个名字加工号说得斩钉截铁连人家在哪个部门都编得清清楚楚。可实际上这位同事三个月前就离职了工号都被回收了。客户当时就炸了追问这个假工号是从哪来的。助手还一本正经地补了一句该员工目前在职。要不是销售认识真人这信息就这么被当真的发出去对接了。我接手去排查的时候第一反应也是查知识库——是不是文档里还躺着一条离职记录没删结果文档干干净净那条工号 在部门 在职状态完完整整是模型自己现编的。数据库里根本没有这个人。这就是我在这一行绕不开的一个坎大模型会一本正经地胡说八道而且它胡说八道的时候语气跟说真话一模一样。今天想跟你聊聊幻觉这件事不是从那种AI 又编了个笑话的猎奇角度而是从工程角度——幻觉到底是怎么冒出来的我们这些把大模型怼进生产系统的人能用什么办法把它拦住、或者至少兜住。先说它为什么会编。很多人以为幻觉是模型笨其实恰恰相反幻觉是模型太会猜的结果。Transformer 这玩意儿本质是个超高维的概率预测器它生成下一个字的时候是在海量语料里学到的分布上采样。碰到知识库里没有的信息它不会停下来喊我不知道而是会顺着上下文里最像那么回事的方向给你补一个最可能的答案。也就是说它不是故意骗你是它压根没有我知道自己不知道这个意识。这个问题在业界有个词叫校准calibration——模型自认为正确的概率跟它实际正确的概率常常对不上。它以为自己有 95% 把握真实可能只有 40%。这种过度自信的错是最难防的因为从字面上你根本看不出来破绽。我排查那个案子的时候又发现一个雪上加霜的点——我这套知识库走的是检索增强RAG按理说应该能兜住不知道的情况。可问题是RAG 只能兜住检索到了错文档或者检索为空这类情况它兜不住检索到了一段模棱两可的片段、模型顺着它的语气自由发挥。那条离职信息就是因为系统里某个模糊字段让模型误以为有这么个人它就顺着这个人应该存在的设定把工号、部门、在职状态全给脑补圆了。所以你看检索增强不是幻觉的免疫针它只是把幻觉从凭空编变成了顺着半截信息编圆难度不减反增。聊到这我得承认一个有点丧气的事实幻觉没法被彻底消灭至少在现有架构下你只能想办法降低它、发现它、兜住它。那些号称我们模型几乎不会幻觉的宣传大多是拿特定场景的评测数据说话换个没见过的领域立马现原形。所以我的态度很务实——别指望消灭要当它是生产系统里一个必须管理的风险跟内存泄漏、网络抖动一样去对待。那能怎么管我先说我被这次翻车逼出来的笨办法。核心就一条给模型一个我不确定的出口别让它被逼着硬答。具体做起来是几件事叠加的。先说指令层面的我在 system prompt 里明确写了如果知识库里没有明确依据请直接回答不知道并说明哪部分缺失把老实承认当成默认行为而不是羞耻。再说检索层面的我把 RAG 的相似度阈值调高只把真正高相关的片段喂进去宁可少给点上下文也不给它一块模棱两可的料让它自由发挥。这两件事光靠调参没法彻底解决所以我还要过一层事实核查fact-checking——让系统对生成的答案里那些具体事实点工号、人名、日期、金额单独抽出来再去知识库里复核一遍复核不过就打回或者标注存疑。那套这位员工目前在职的鬼话如果当时过了这层核查工号根本对不上早就被拦下了。这还没完。生产系统里还有个被低估的环节就是红队测试red teaming。我以前总觉得这是安全团队搞对抗的事跟我部署业务没啥关系。这次案子让我改观了——红队测试其实就是故意挑刺拿那些最容易诱发幻觉的问题去砸系统看它哪里会瞎编。比如我后来专门构造了一批知识库里只有一半信息的问题还有两个相似人物容易混淆的问题定期拿去砸那个助手把它会翻车的角落提前炸出来。这就好比上线之前先自己当一遍最刁钻的客户把会出丑的地方先自己出丑一遍总好过让真客户踩雷。打岔说一句我把这事跟几个做 AI 客服的同行聊了一圈发现大家都栽过差不多的跟头有人栽在法律条款上有人栽在价格上还有个哥们儿的理财助手把一款早下架的产品收益率报得清清楚楚理财经理差点真给人推过去。共性都是同一个模型不缺表达缺的是知道自己在说什么的自觉。所以我现在越来越觉得做 AI 落地这行真正值钱的本事不是怎么让模型说得更流利而是怎么让它在该闭嘴的时候闭嘴。那是不是说明这套技术很悲观我倒不这么看。幻觉确实是当前最扎心的短板之一但正因为它是短板才给了我们工程上发挥的空间——检索增强、事实核查、红队测试一层套一层把本来该全对的压力分摊成每一层都尽一份力。我跟那个客户最后是怎么收尾的把那套事实核查加上了离职信息这一类刚性事实先走结构化数据源核验不走模型自由发挥再把那个这位同事在职的幻觉问题拿去红队测试复盘进了回归清单。到现在快一个月没再翻过车。临了抛个问题给你你在生产里被大模型幻觉坑过吗是栽在它编了个像模像样的事实还是栽在它顺着半截错信息越说越圆你后来是用检索、核查还是干脆换了一套让它先搜再答的流程来兜底评论区聊聊我想收集一波真实的翻车现场说不定下次能帮你把某个坑提前避开。