大模型后端可观测性：从请求到 Token 的指标链

大模型后端可观测性从请求到 Token 的指标链后端架构先看边界和失败路径再看吞吐数字。这篇只讨论一个问题大模型后端可观测性从请求到 Token 的指标链。写作边界围绕“大模型后端可观测性从请求到 Token 的指标链”出现的数字、事故场景和性能结果均用于演示分析方法不是特定项目的实测结论。落地时请记录版本、输入、资源、统计窗口和失败路径再用自己的测试数据复核。一张图回答一次请求发生了什么面板先按请求阶段拆分网关排队、检索、Prompt 组装、模型 TTFT、TPOT 和流式传输。每个阶段都保留 P50、P95、P99 与错误分类只有 HTTP 200 看不出流中途断开或工具调用失败。成本侧分别记录输入、输出和缓存 Token并关联模型版本与租户避免汇总数字掩盖异常用量。自托管模型还要看 GPU 利用率、KV Cache、Batch Queue 和抢占次数。尾延迟抬升可能来自多种原因不能只凭一条热力图就决定扩容。检索链路除了 Top-K 耗时还应记录空结果、过滤后文档数和引用覆盖。日志与 Trace 只保存定位所需的元数据Prompt 和检索内容要按隐私规则脱敏。这样从一次慢请求出发才能沿 Trace 找到对应成本、错误和模型版本。落地检查固定“大模型后端可观测性从请求到 Token 的指标链”涉及的输入、版本、流量模型与统计窗口再比较变更前后。对自动化动作设置权限、超时和熔断失败时回到可解释的确定性路径。把结论连同原始日志、指标截图和回滚条件一起归档避免只留下口头判断。