多头注意力可视化发现注意力集中在无关符号上时，如何排查数据格式和特殊 Token

如果可视化发现多头注意力大量集中在一些无关符号上，我一般不会马上判断模型学坏了，而是先排查数据格式和特殊 Token 的处理是否有问题。

我会先看原始样本到模型输入的完整链路，比如：

原始文本是否有异常字符，比如多余的分隔符、空格、换行、HTML 标签、控制字符等； tokenizer 之后的 token 序列是否符合预期； special token 是否插入正确，比如 [CLS]、[SEP]、<bos 、<eos 、<pad ； attention mask 是否正确，尤其是 padding 位置有没有被 mask 掉； label、segment id、position id 是否和输入序列对齐。

比较常见的问题是 padding token 没有正确 mask，导致模型在注意力里看到了大量 <pad ；或者拼接句子时 [SEP] 放错位置，导致模型认为某些分隔符很重要。还有一种情况是数据清洗不干净，比如文本里有大量重复的标点、特殊符号、占位符，模型确实学到了这些符号和标签之间的伪相关。

我会随机抽几条样本，把 `input