训练样本去重不充分导致模型复读固定模板时，如何识别重复数据和改进清洗流程

如果训练后发现模型经常复读某些固定模板，我一般会先怀疑训练集中存在高频重复样本，尤其是模板化问答、日志、客服话术、爬虫重复页面这类数据。

识别重复数据可以分几层做：

第一层是精确去重。对样本做标准化之后计算 hash，比如去掉多余空格、HTML 标签、统一大小写、统一标点、繁简转换，再按 md5/sha1 去重。这能处理完全重复的数据。

第二层是近似去重。很多数据只是改了少量字段，比如用户名、日期、城市不同，但整体模板一样。这种可以用 SimHash、MinHash、LSH，或者基于 n gram 的 Jaccard 相似度来识别。比如两条文本的 5 gram 重合度很高，就可以认为是近重复。

第三层是语义级去重。对于改写过但语义基本一致的数据，可以用 embedding 向量做相似度检索，比如用 Faiss 建索引，对 cosine similarity 超过阈值的样本聚类，再保留代表样本。这种适合问答、指令数据、客服语料。

第四层是模板检测。针对“复读固定模板”的问题，我会专门统计高频 n gram、高频句式、高频开头和结尾，比如大量样本都以“您好，很高兴为您服务”开