混合检索中关键词命中文档排在后面时,如何调整稀疏检索、稠密检索和融合权重
进阶版来源:baidu初级工程师检索排序稠密检索稀疏检索混合检索权重调优
草稿
答案解析
如果在混合检索里发现“关键词明确命中的文档反而排在后面”,我一般会先判断这个问题是召回问题还是排序融合问题。
如果关键词命中的文档根本没有进入候选集,那要先调稀疏检索的召回,比如提高 BM25 / ES 的候选数量,检查分词、同义词、停用词、字段权重,尤其是标题、核心字段是否应该加 boost。对于精确词、专有名词、编号、代码、实体名这类查询,稀疏检索通常更可靠,应该保证它能召回来。
如果文档已经被稀疏检索召回了,但是融合后排得很靠后,说明大概率是稠密检索分数或融合策略把它压下去了。这时可以调整几个点:
1. 提高稀疏检索权重 比如原来融合是: 如果业务更依赖关键词精确匹配,可以调整成: 或者对关键词类 query 动态提高 sparse 权重。
2. 降低稠密检索对排序的压制
登录后查看完整内容
