llama.cpp 在线观测：把批次、KV Cache 与延迟关联起来

llama.cpp 在线观测把批次、KV Cache 与延迟关联起来llama.cpp 的在线延迟受提示长度、批次和 KV Cache 状态共同影响。只看一次 tokens/s很难解释用户为什么有时等得久。分开记录预填充与解码首 Token 前包含排队、分词、prefill 和调度后续 Token 则看 decode。两段分别记录输入长度、输出长度与批次避免平均值混淆。Cache 指标要能回到请求观察 KV Cache 占用、命中或回收、上下文截断和并发槽位。请求变慢时能判断是长提示挤占缓存还是批处理策略造成等待。模型、量化格式与提交版本写入标签。GPU/CPU offload 层数作为运行条件记录。采样率限制高基数请求信息。用分桶结果调整策略按输入长度和并发量分组看 P95/P99再决定批次上限、上下文限制和队列规则。不同流量形态应有不同配置不追求一个参数覆盖所有请求。在线观测的目标是解释每一类等待。批次、缓存和请求长度能对上优化才不会只靠反复试参数。