Prefix Tuning 在小样本任务上效果不稳定时，如何从模板、样本覆盖和验证集拆分排查

如果 Prefix Tuning 在小样本任务上效果不稳定，我一般会先从数据和评估方式排查，而不是马上怀疑模型本身。

模板方面 ，重点看模板是否把任务表达清楚，以及是否引入了偏置。比如分类任务里，模板中的 label verbalizer 是否和预训练语义对齐，像情感分类用 “great / terrible” 可能比随便定义的词更稳定。还要检查不同类别的模板长度、语义强度是否对称，避免某个类别天然更容易被模型预测到。实际排查时我会做几组模板对比：

手写多个语义等价模板，看方差是否很大； 固定样本和随机种子，只替换模板，观察性能变化； 检查 prompt 是否过长，导致有效输入被截断； 检查 prefix 长度是否合适，太短表达能力不足，太长在小样本下容易过拟合。

如果换模板后指标波动很大，说明任务对模板比较敏感，需要重新设计模板或考虑 soft prompt / verbalizer 搜索，而不是只调学习率。

样本覆盖方面 ，小样本场景最容易出现训练样本不代表整体分布的问题。我要看每个类别的样本数量是否均衡，是否覆盖了主要语义模式和边界 case。