记忆张量-把上下文与显存当作可管理资源

摘要智能体的记忆系统常被当成应用层功能实际瓶颈在张量层写入、检索、淘汰都要与显存和算力争资源。本文拆解记忆张量的三层结构原始张量、索引、摘要、读写路径的延迟构成、淘汰与压缩策略以及记忆管理与推理调度的协同设计。2026 奇点智能技术大会11 月 20-21 日 · 北京万达文华酒店的智能体与 AI Infra 专题会讨论这类交叉问题。一、记忆不是数据库是张量把记忆当数据库做的团队很快会遇到两个问题检索延迟随规模上升以及记忆与推理争抢显存。原因是记忆的载体并不是行记录而是张量——嵌入、KV、激活都属于此类。应用层记忆条目文本 元数据 张量层嵌入向量 / KV 片段 / 压缩表示 存储层显存 / 主机内存 / 本地盘 / 远端三层各管一段应用层决定记什么张量层决定怎么存存储层决定放哪里。混淆层次会导致优化方向错位。二、三层结构与各自职责层级内容主要操作常见瓶颈原始张量嵌入、KV 片段读写、压缩显存带宽索引近似最近邻及其元信息检索、过滤检索延迟摘要压缩后的语义表示生成、更新生成成本摘要层最容易被忽略它决定记忆能不能被压缩后仍然可用。没有摘要层时淘汰只能整条丢弃。三、写入路径的三个成本写入 编码(嵌入) 落盘 建索引 可能的摘要生成 │ │ │ │ 可批量 可异步 可延迟 最贵应抽样实用建议摘要在后台抽样生成不要跟着写入同步做。同步生成会让写入路径的延迟成倍上升而摘要的价值只在淘汰与长程检索时才体现不需要实时。四、检索路径的延迟构成候选生成向量检索给出候选集延迟与索引结构相关。精排对候选做更精确的相似度或交叉编码打分成本最高。拼接把记忆与当前上下文组装受限于上下文窗口。回捞命中分层存储时按层级恢复。四段中最容易被低估的是拼接记忆条目越多上下文被挤占得越厉害最终表现为记了很多但用不上。五、淘汰与压缩策略策略依据优点风险时间衰减最后访问时间实现简单误删长期有效信息访问频次命中次数保留热点新信息无机会重要性标注显式标记精准依赖标注质量摘要替换压缩后保留节省空间有损需可回溯推荐组合是时间衰减 显式重要性默认按时间衰减被显式标记的信息不参与衰减。单用任何一种都容易走偏。六、与推理调度的协同记忆与推理共享显存就必须共享预算。显存预算分配 活跃请求 KV ─────── 60% 记忆张量 ─────── 20% 权重与激活 ─────── 15% 安全余量 ─────── 5%比例不是固定的但必须有明确划分。没有划分时记忆增长会悄悄挤占请求缓存表现为并发莫名下降。七、几个常被问到的问题问记忆能不能只存在磁盘上答可以但检索延迟会成为体验瓶颈。可行的折中是热记忆放显存、冷记忆放磁盘用访问模式驱动迁移。问记忆需要多长才能看出效果答取决于任务。对话类任务几百条就有效果跨项目知识积累类需要更长时间。判断标准不是条数而是检索命中后是否真的改变了输出。问记忆冲突怎么办答保留冲突并标注重量级而不是强制合并。直接覆盖会让系统丢掉信息曾经变化这一事实后续推理容易出错。问压缩会不会丢掉关键细节答会所以压缩必须可回溯——保留原始张量的指针允许按需取回。不可回溯的压缩在有损场景下风险很高。问怎么衡量记忆系统是否有效答看三个指标检索命中率、命中后的任务成功率、以及记忆占用的资源成本。只看命中率会鼓励无差别多存。八、写入要批量化与合并记忆写入的延迟主要来自多次小写入。把同一会话的多条记忆合并成一次批量写入能显著摊薄开销。合并需要解决顺序问题同一实体的多次更新应按时间顺序合并成最终状态同时保留变更记录。只留最终状态会丢失过程信息只留全部变更会让存储膨胀折中做法是保留最终状态加一条变更摘要。九、记忆的权限与隔离记忆一旦跨用户共享就会带来越权风险。工程上需要三层隔离用户级默认只能读自己的记忆、会话级同一用户的跨会话读取需要显式授权、以及共享级显式发布的公共记忆。权限检查必须发生在检索阶段而不是拼接阶段——先按权限过滤候选再做相似度排序避免无权访问的内容先命中再被过滤造成信息泄漏。十、冷启动记忆从哪来新用户的记忆为空系统表现会明显低于老用户。可行的冷启动手段有三种从显式资料导入用户主动提交的背景信息、从公共知识预热行业常识类记忆、以及从首次会话快速提炼把前几轮对话压缩成少量初始记忆。三种手段的成本与收益不同通常组合使用。关键是让冷启动的记忆可被用户查看与修改否则错误记忆会长期影响输出。十一、记忆系统的观测指标需要长期采集四项写入量与其构成的分布、检索命中率、命中后的任务成功率、以及记忆占用的资源。其中第二与第三项必须成对观察命中率高但任务成功率低说明召回的记忆不相关检索策略需要调整而不是继续增加记忆量。十二、记忆的分层写入写入路径应按重要性分层高重要性的记忆同步写入并立即建索引普通记忆异步批量写入低价值的交互记录只做采样保留。同步写入的比例应控制在很小范围内否则写入延迟会直接体现在响应时间上。分层的判据建议由规则给出例如显式标记的内容、用户明确要求记住的内容属于同步层。十三、记忆的一致性同一事实在记忆中存在多个版本时需要明确的取舍规则。常见做法是按时间戳取最新但这在事实本身反复变化时会丢失信息。更稳妥的做法是保留多条并标注时间与来源在检索阶段根据问题的时间指向选择。对于本来就有时效性的事实保留多条比强行合并更符合实际。十四、记忆与上下文的配比记忆条数与上下文窗口是竞争关系。记忆塞得越多留给当前对话与文档的空间越小。这个配比需要按任务设定而不是全局固定。一个可用的起点是给当前输入保留不低于一半的窗口剩余部分按相关性分配给记忆。运行中观察因上下文不足而被截断的比例据此调整配比。十五、记忆的评测方式记忆系统的评测不能只看检索指标。需要构造三类测试跨会话召回之前说过的事实能否被正确引用、冲突处理事实更新后是否采用新版本、以及无干扰无关记忆是否被误引入回答。三类测试都不通过复杂基础设施即可实现但能有效区分记忆存了和记忆有用这两件常被混为一谈的事。十六、再答几个问题问记忆会不会让模型变固执答会如果检索总是命中旧结论。缓解方式是让记忆带时间与来源并在回答时区分事实与曾经的事实。系统需要能表达变化而不只是表达当前状态。问记忆条目怎么定粒度答以可独立检索为准。一条记忆应该表达一个可被单独使用的信息单元过长会稀释相似度过短会丢失上下文。实践中同一事实的不同侧面分开存通常比合并成一条更好用。问要不要给用户看系统记住了什么答建议可以查看。可见性是信任的前提也是纠错的前提。用户能修正错误记忆时系统会更快收敛到正确状态。问记忆规模增长带来的成本怎么控制答靠淘汰与压缩两条路并行。淘汰解决数量压缩解决体积。两条路都要有可观测指标否则容易在某一侧堆积到不可控。十七、补充说明问记忆系统的失败模式有哪些答三类最常见检索到不相关内容导致答非所问、记忆过时导致结论陈旧、以及记忆挤占上下文导致当前信息被截断。三类都需要独立指标才能及时发现。问要不要限制记忆总量答建议设上限并做成可调参数。无上限的记忆增长会缓慢侵蚀性能而这种侵蚀在早期很难被察觉等到发现问题时往往已经积累了大量低价值内容。问记忆该不该跨设备同步答建议同步但只同步显式记忆与摘要不同步原始会话张量。显式记忆体积小、语义清晰跨设备价值高原始张量体积大且依赖具体上下文同步后反而容易引发不一致。十八、衔接大会专题11 月 20-21 日北京万达文华酒店2026 奇点智能技术大会的智能体应用创新与 AI Infra 专题会讨论记忆系统与资源调度C 及系统软件技术大会则从内存布局、缓存策略角度给出系统实现视角。带着我们的记忆占了多少显存、挤掉了多少并发这个问题去参会答案通常比想象中更值得关注。大会信息2026 奇点智能技术大会 C 及系统软件技术大会时间2026 年 11 月 20-21 日地点中国·北京万达文华酒店大会报名点击报名领取大会PPT资料立即报名锁定 Lukasz Kaiser Keynote 与 70 场演讲完整资料