模型部署后吞吐量低于预期时，如何检查 batching、并发请求数和最大生成长度配置

我一般会先把问题拆成三个维度看：batching 有没有真正生效、并发请求数是否把 GPU/推理服务打满、最大生成长度是不是设置得过大导致单请求耗时被拉长。

batching 方面 ，我会先确认服务端是否启用了动态 batching，而不是客户端以为自己并发了，服务端其实还是单条处理。重点看几个配置：

max batch size 是否大于 1； 动态 batching 的等待时间，比如 max queue delay、batch wait timeout 是否太小，导致来不及攒 batch； batch 维度是否正确，比如输入 shape 是否支持动态 batch； 实际运行日志或监控里，平均 batch size 是多少，而不是只看配置。

如果平均 batch size 长期接近 1，说明 batching 没有发挥作用。可能是流量太低、请求间隔太分散、batch 等待时间太短，或者模型服务框架没有正确合批。这个时候我会适当增大 batch 等待时间，或者从压测侧提高并发，让服务端有机会聚合请求。

并发请求数方面 ，我会用压测工具逐步