上一题下一题

请复盘一次你在大模型应用中处理首 Token 延迟过高的经历，重点说明 KV Cache、Batching 和模型路由的取舍

旗舰版

来源：bytedance中级工程师

草稿该题目为草稿状态，前台公开题库中不可见。

暂无内容

面试官点评

文字 + 语音片段播放（示意）

思路要先从需求澄清开始：QPS、读写比、过期与合规；再讲读写路径；最后讲热点治理与可观测。

语音片段0%

用户提交的优质回答

点赞、评论（评论入口示意）

学员 A

我会先从需求拆解：可用性、可扩展、成本，然后讲 ID 生成、存储与缓存层，最后讲热点治理与监控告警。

学员 B

先做读写路径：写入生成短链+落库；读取走缓存+回源。再补充防刷、黑名单、过期与统计。

学员 C

强调 trade-off：一致性 vs 性能；多级缓存、热点 key 识别、限流与降级回退。