LoRA 微调后基础问答能力下降时，如何从训练数据分布、学习率和灾难性遗忘排查

如果 LoRA 微调后发现模型的基础问答能力下降，我一般会从三个方向排查：数据分布、训练超参数，尤其是学习率，以及灾难性遗忘。

第一是看训练数据分布是否过窄或者有偏。 LoRA 微调虽然只训练少量参数，但如果数据都是某个垂直场景，比如全是客服话术、固定格式回复、短问短答，模型很容易学到一种“强风格”，导致通用问答能力下降。

我会重点检查几类问题：

训练数据是不是只覆盖单一领域，缺少通用指令数据； 数据格式是否过于固定，比如所有回答都很短、都必须按模板输出； 是否存在大量低质量数据、错误答案、重复样本； prompt 和 response 的分布是否和实际使用场景一致； 是否把一些基础能力相关的数据过滤掉了，比如推理、解释、开放问答、多轮对话等。

处理方式通常是重新调整数据配比。比如在领域数据之外，混入一部分通用指令数据、基础问答数据，或者高质量的 general SFT 数据，避免模型只记住某个业务模式。对于重复率高、模板化严重的数据，也要做去重和清洗。

第二是检查学习率是否过大。 LoRA 参数量虽然少，但学习率过高一样会让模型输