上线新 Prompt 后转化率下降时，如何通过灰度、日志和回归测试定位影响范围

我会先把这个问题当成一次线上变更事故来处理，核心目标是先止损，再定位是哪个 Prompt 版本、哪些用户、哪些场景受影响。

第一步是确认指标和止损。

先看转化率下降是否真实存在，而不是埋点延迟、数据口径变化或者流量结构变化导致的。会对比上线前后同一口径下的核心指标，比如曝光、点击、下单、注册、留资等漏斗数据，同时看 PV、UV、请求量、错误率、响应时间有没有异常。

如果确认下降明显，并且已经超过预设阈值，比如转化率下降超过 5% 或者核心链路收入受损，我会先执行降级或回滚，把流量切回旧 Prompt，避免影响继续扩大。

第二步通过灰度确认影响范围。

如果上线时有做灰度，我会重点看实验组和对照组的差异。比如：

新 Prompt 版本命中的用户转化率是否下降 老 Prompt 用户是否正常 不同流量比例下是否下降趋势一致 是否只影响某些渠道、地区、端、用户分层或业务场景

如果是按 5%、10%、50% 灰度放量的，就可以根据每个阶段的指标变化判断问题是从哪个版本、哪个时间点开始出现的。

我还会做分桶分析，比如：

新用户和老用户 iO