上一题下一题

Beam Search 生成答案过于模板化时,如何分析搜索策略对多样性和准确性的影响

基础版
来源:baidu初级工程师生成质量评估解码策略文本生成多样性Beam Search
草稿该题目为草稿状态,前台公开题库中不可见。
答案解析

Beam Search 答案过于模板化,通常不是单纯模型能力问题,搜索策略本身也会放大这种现象。

Beam Search 的核心目标是保留累计概率最高的若干条路径,本质上偏向“高概率、安全、常见”的表达。因为训练语料里模板化回答往往出现频率高,模型会给这些通用表达较高概率,Beam Search 又会不断保留这些路径,所以最终结果容易变得稳定但缺少多样性。

我一般会从两个角度分析:

一方面看准确性。Beam size 增大时,理论上搜索空间更充分,可能找到概率更高的序列,事实一致性、语法稳定性通常会提升。但 beam 太大也可能带来问题,比如生成更短、更保守的句子,或者过度偏向训练集中高频模式,导致答案看起来正确但信息量不足。

另一方面看多样性。Beam Search 会让多个候选路径共享相同前缀,尤其在前几个 token 概率分布很尖锐时,多个 beam 很快收敛到类似表达。这样即使 beam size 很大,候选答案之间差异也不明显。所以模板化问题常见于 beam size 较大、length penalty 不合适、重复惩罚不足、模型分布过于集中的场景。

实际分析时,我

登录后查看完整内容