记忆不是查出来的,是想出来的:当AI开始学会“编造“自己需要的信息

你有没有遇到过这种情况问一个老朋友某件往事的细节他想了想说具体记不清了但我大概记得是这样的……然后给你讲了一个虽然不完全精确、却抓住了事情核心的版本。这个版本不是他从记忆里原封不动提取出来的是他现场重建出来的。这篇论文想解决的问题正是围绕这个现象展开的AI的记忆是不是也可以这样工作**核心问题记忆系统一直在做一件事但没人问过它能不能换种做法**先说清楚现在的AI记忆系统长什么样。大语言模型本身很聪明但它有一个天生的毛病参数里装的知识是训练时就固定死的之后再也不更新。想让它知道一些新东西或者想让它记住特别专业、特别小众的信息业界想出了几条路。第一条路是检索增强生成检索增强生成RAG让模型在回答问题之前先去外部文本库里搜一段相关资料把搜到的内容当作参考塞进提示词里。这就像考试时带了一本参考书翻到哪页就抄哪页的思路。第二条路更极客一点叫最近邻语言模型kNN-LM维护一个巨大的非参数化数据库生成每个词的时候去数据库里找最相似的历史片段把这些片段的下一个词分布和模型自己的预测做加权融合。第三条路是这篇论文真正站在的起点叫学习型记忆学习型记忆Learned Memory不存文本存训练出来的向量表示推理时通过一个专门的读取器把这些向量变成模型能用的信号。这篇论文提到的Engram就是这条路上的代表作。Engram一种可寻址的条件记忆系统用因果N-gram的方式去查表取出一段记忆表示再交给一个轻量级的神经网络接口处理。你发现没有这三条路有个共同的隐藏假设存的是什么取出来就是什么模型拿到手的东西和当初存进去的东西必须一模一样。这个假设在作者看来可能是个错误的默认设定。他们的问题是如果记忆表不是用来原样朗读的而是用来启发联想的呢如果模型可以根据查到的一点点线索再结合当下的语境现场生成一段更贴合此刻需求的记忆内容呢这就是整篇论文的起点一个听起来有点反常识的想法有用的记忆未必是检索出来的也可以是生成出来的。**三条路径直接读取、带线索的生成、完全自主的生成**作者把问题拆成了三条并行的信息通路起名字分别叫E、GE、GH。EDirect Engram Retrieval直接读取路径老老实实把Engram表里查到的记忆原样交给模型这是最传统、最保守的做法。GEGeneration from retrieved Engram Cues生成路径一先从记忆表里拿到一些线索不是完整答案是线索然后用一个小型生成器根据这些线索重新构造一段记忆表示。GHGeneration from causal backbone states生成路径二更激进完全不查记忆表直接根据模型自己当下的隐藏状态也就是它正在思考的内容去生成一段记忆表示。三条路径的区别本质上是离原始存储有多远的区别。E是零距离直接照搬GE是半步脱离拿着线索二次创作GH是彻底脱离仅凭上下文自己想象。这里有个容易让人困惑的地方需要澄清GE和GH不是另外训练了两个独立的语言模型它们只是挂在同一个被冻结的主干网络backbone旁边的两套记忆侧组件相当于同一个大脑旁边接了两套不同的提词器逻辑。那么问题来了这三条路径里到底哪个更好论文的实验数据给出了一个很诚实、也挺反直觉的答案没有谁一直更好。在WebQuestions这个问答任务上GE的得分是35.24比直接读取路径E的33.35还要高看起来生成路径更聪明。可是到了TriviaQA上E的得分是69.34GE只有58.62差了整整十个点这时候生成路径反而成了拖累。GH的表现更是五个QA任务里全部输给E。这意味着如果你简单粗暴地把E整个替换成GE或GH有的任务会变好有的任务会直接崩掉。单一路径通吃的幻想在数据面前碎掉了。**路由机制把E当作锚点而不是三选一的平等候选**既然没有谁一直更优那该怎么办常规思路可能是做一个混合专家系统三条路径地位平等让一个调度器根据情况动态加权组合。这种思路在业界有先例叫专家混合模型。专家混合Mixture of Experts训练一个门控网络根据输入内容学习如何组合多个专家子模型的输出是大模型里常见的稀疏激活技术。但作者没有照搬这套逻辑他们提出了一个关键的立场转变E不是三个平等候选之一E是基准线是锚点。这篇论文给这个方法起名MemoryAthena雅典娜希腊神话里的智慧女神掌管战略和判断力这个命名本身就暗示了这个系统的核心能力不是蛮力记忆而是审慎判断。MemoryAthena的逻辑是这样的永远先假设E是对的除非有充分理由相信某个生成路径GE或GH能做得更好才允许它介入修正而且修正的幅度是有限的不是推翻重来。这就像一个资深医生看诊默认按照标准诊疗流程走这是E但如果有个实习医生提出一个不一样的诊断思路老医生不会直接采纳也不会直接否决他会先问你凭什么觉得这个思路更好有多大把握只有实习医生的理由足够充分、把握足够大老医生才会在标准流程基础上做适度调整而不是把整个诊疗方案推倒重来。如果不这样设计会怎么样论文里有个很说明问题的对照实验把路由规则换成对称型硬路由三条路径平等竞争选一个赢家五项QA任务平均分是35.83换成对称型软融合三条路径按权重混合平均分反而掉到28.62比完全不用记忆的基线32.09还低。而MemoryAthena这种以E为锚点的做法平均分是39.28。数字差距不小这说明把三条路径当作平等对手来混合不仅没有发挥出生成记忆的潜力反而因为引入了不靠谱的候选项把整个系统拖垮了。这个路由决策具体是怎么算出来的论文引入了一个很巧妙的监督信号叫反事实未来词似然优势。反事实优势Counterfactual Advantage对于生成路径s比较它和E在预测下一个真实出现的词时谁给出的概率更高。如果生成路径给真实答案打的分比E高这个差值就是正的说明生成路径这次猜得更准。这个信号怎么用呢论文冻结了主干网络、记忆表、生成器、读取器所有这些组件只训练一个很小的路由头让它学会预测在当前这个位置GE或GH这次有没有可能比E表现更好以及这个判断有多大把握。值得注意的是这个训练过程用的是未来真实出现的词来打分但这些未来词只参与构造训练时的监督目标推理的时候路由头看不到任何未来信息只能根据当下的状态做判断。这保证了整个系统在实际使用时依然是因果的不会偷看答案。路由头给出两个预测值之后系统的决策逻辑是先判断GE或GH的预测优势是否超过某个门槛τ同时判断置信度是否超过门槛ρ。两个条件都满足这个候选才算入围。如果有候选入围选预测优势最大的那个用一个带系数的插值公式把它和E的结果混合最终记忆 E α×(生成记忆 - E)这里α在0到1之间由路由头的置信度决定。如果没有任何候选入围α直接设为0相当于完全采用E一点没被改变。这个完全回退的设计特别重要。它保证了即便路由头判断失误最坏的结果也不过是退回到原本就还算可靠的E路径不会无底线地放大一个判断错误。**为什么是这套机制在起作用而不是别的原因**有个很自然的质疑会不会只是因为模型多了很多参数所以效果变好了会不会只是因为初始化方式比较好论文专门设计了一组对照实验来回答这个问题。他们试了一个参数量匹配的前馈网络Parameter-matched FFN也就是用一个参数量差不多、但结构没有记忆路由逻辑的普通网络去替换整套机制。结果五项QA任务平均分只有26.91比完全不用记忆的基线32.09还要低。这个结果很有分量说明效果的提升真的不是单纯靠堆参数堆出来的结构设计本身在起作用。他们还做了一个随机路由器对照就是把路由头替换成一个随机做决策的模块三条路径依然存在只是选择谁来介入变成了随机的。结果平均分只有31.63比学习出来的路由头39.62低了接近8个点也比不用记忆的基线还略差。这个对照组的意义在于它证明了同时拥有E、GE、GH三条路径这件事本身并不会自动带来好处真正起作用的是知道该在什么时候用哪一条这个判断能力。就像一个厨房里摆满了各种高级食材如果厨师不知道什么时候该用哪种食材、放多少食材越多反而越容易做砸一道菜。论文里还有一项细节值得一提把记忆表里的地址打乱也就是把查询和存储内容的对应关系搞乱平均分从39.62掉到34.48而且不同随机种子之间的结果波动特别大标准差高达6.44相比正常情况下的0.46。这说明准确的寻址机制是整个系统稳定工作的前提一旦查找关系本身是错的后面无论用多精巧的生成或路由逻辑都无济于事。**生成记忆到底带来了什么具体改变**说了这么多机制到底效果如何在五项问答基准上自然问题、WebQuestions、TriviaQA、TruthfulQA、HotpotQA同一个检查点下直接读取路径E的平均分是37.65MemoryAthena达到39.28。这个提升不是靠某一项任务暴涨撑起来的五项任务全部都有提升自然问题提高了4.74分WebQuestions提高1.25分TriviaQA提高1.34分TruthfulQA提高0.49分HotpotQA提高0.30分。在六项通用自然语言处理任务上情感分类、评论分类、新闻分类等E的平均分是76.73MemoryAthena是79.13提升了2.4个百分点。其中SST2情感分类提升了3.9分MR提升了3.7分这些都不是误差范围内的小波动。更有意思的是论文做的黄金标签神谕分析。神谕分析Oracle Analysis假设有一个开了天眼的裁判提前知道正确答案让它在E、GE、GH三条路径里挑出表现最好的那个这个上限叫神谕上限用来衡量系统理论上还有多少潜力没被挖掘出来。结果显示三路神谕比最佳双路神谕也就是只用E和另一条路径里较好的那个还要高在自然问题上高2.32分在WebQuestions上高3.37分。这说明GE和GH确实能在某些例子上答对E答不出来的问题三条路径之间存在真实的互补性。但同时三路神谕比实际部署的MemoryAthena路由器还要高出不少自然问题上差5.31分WebQuestions上差9.07分。这个差距说明了什么说明目前这套路由系统虽然比单一路径和简单混合都更聪明但离每次都精准判断该用谁的理想状态还有相当的距离。这不是一个已经解决的问题而是作者诚实地指出的未来方向三条记忆通道里藏着的互补信息目前只被挖掘出了一部分。论文附录里还有一个很生动的案例两道题E、GE、GH三条路径单独跑都答错了但MemoryAthena最终答对了。一道题是问两件历史事件谁发生得更早正确答案是1907年GH单独跑给出的答案是错的但在路由系统里GH承担了大部分的权重经过和E的混合插值最终答案变成了正确的1907年。这说明路由系统发挥作用的方式有时候不是简单挑出最好的那一个而是把几个都不完美的信号拼接、修正出一个更准确的结果。这个场景很像一群证人各自说了部分实话单独听任何一个人的证词都推不出真相但把几个人的说法拼在一起、互相印证、互相修正矛盾之处反而能拼出一个比任何单独证词都更接近真相的版本。**代价这一切是有成本的**生成记忆不是免费的午餐。论文里专门做了推理延迟和显存开销的测试在GPT-2 Small这种小模型上只用直接读取路径E的延迟是146.7毫秒加上完整的生成加路由机制之后变成276毫秒慢了1.88倍。显存占用也从0.57GB涨到0.93GB增加了63.2%。好消息是随着模型规模变大从Small一路到XL这个相对开销在逐渐缩小延迟倍数从1.88倍降到1.40倍显存增幅从63.2%降到32.6%。额外开销的大头并不是那个很小的路由头只有53万多参数而是生成记忆路径本身需要额外计算尤其是GH路径需要单独跑一遍干净的主干网络不带记忆注入来获取当下的隐藏状态。这是个很现实的权衡换来了更高的准确率代价是更慢的推理速度和更高的显存占用。**写在后面**读完这篇论文让我印象最深的不是那个路由机制本身而是那个被反复证明的核心事实没有任何一条记忆路径能通吃所有情况。直接检索、带线索的生成、完全自主的生成三者各有盲区而且这些盲区是和具体任务、具体输入绑定的不是靠加大参数量或改进单一方法就能消除的。这让我想到一个和AI完全无关的类比人在不同场合回忆一件事的方式本来就不一样。有时候你需要精确复述一个合同条款这时候你希望自己能一字不差地检索记忆任何添油加醋都是错误。但有时候你在给朋友讲一个旅行故事细节记不全没关系你会下意识地用合理的联想填补空白这时候生成反而是更自然、更有用的记忆方式。这篇论文某种程度上是在给AI系统补上这第二种能力同时又很谨慎地给它设了边界不让它在该精确的时候也开始合理编造。另一个值得玩味的细节是CR商品评论分类这个任务在这个任务上GE拿到了44.6%的权重是所有任务里生成路径权重最高的一个而GH在大多数其他任务里占主导。这说明不同类型的任务对要不要依赖原始记忆线索这件事的偏好本身就不一样这背后可能藏着一个更有意思的问题什么样的任务更依赖精确信息什么样的任务更依赖联想重构论文没有深入回答这个问题但这恰恰是留给后来者的一个很值得追问的方向。论文最后坦诚地承认部署的路由器和理论上限之间还有5到9个百分点的差距。这个差距会不会随着更好的特征设计、更大规模的训练数据被填平还是说这个差距本身反映了某种无法通过工程手段彻底消除的不确定性就像人类自己也永远无法百分之百判断某个记忆该相信多少一样QAQ1MemoryAthena是什么AMemoryAthena是一种AI记忆路由系统它同时拥有直接检索记忆E、基于检索线索生成记忆GE、完全依靠上下文自主生成记忆GH三条通路并训练一个轻量级路由头判断何时该让生成的记忆修正直接检索的结果。Q2MemoryAthena和普通的检索增强生成RAG有什么区别ARAG是把检索到的原始文本直接塞给模型参考记忆内容和存储内容完全一致。MemoryAthena则允许模型根据检索线索或自身语境重新生成一段更贴合当下需求的记忆表示并且始终以直接检索结果为基准只有判断生成记忆更优时才会介入修正。Q3MemoryAthena效果提升明显吗有没有代价A在五项问答任务上平均分从37.65提升到39.28六项通用任务平均分从76.73提升到79.13所有任务均有改善。但代价是推理延迟增加小模型上约1.88倍和显存开销上升约63.2%不过这个相对开销会随模型规模增大而缩小。