线上问答响应突然变慢时，如何判断瓶颈来自首 Token 延迟、KV Cache 命中还是批处理排队

我会先把一次线上问答请求拆成几个阶段看：请求进入网关、进入推理服务队列、prefill 计算、首 Token 输出、decode 持续生成、返回给用户。核心指标是 TTFT、TPOT、排队时间、KV Cache 命中率和 GPU 利用率。

如果是首 Token 延迟问题，通常表现是 TTFT 明显升高，但后续 Token 生成速度还比较正常。这个时候我会重点看 prefill 阶段耗时，比如输入 prompt 是否变长、上下文是否变大、模型是否发生冷启动、GPU 是否算力打满。指标上会看：

TTFT 是否上涨； prefill latency 是否上涨； 输入 token 数是否上涨； GPU utilization 是否很高； decode 阶段的 tokens/s 是否基本正常。

如果 TTFT 高，而 queue time 不高、KV Cache 命中正常，那大概率是 prefill 计算压力或者输入上下文变长导致的。

KV Cache 命中问题一般要看 cache hit ratio、cache reuse ratio、prefix cache 命中