上下文压缩后关键信息丢失时，如何评估压缩摘要与原始证据的一致性

我一般会把这个问题拆成两层：一层是“摘要有没有忠实于原始证据”，另一层是“关键任务信息有没有被保留下来”。因为上下文压缩不是单纯追求短，而是要保证后续问答、推理或生成还能用。

可以从几个方面评估：

1. 基于事实一致性的评估

把压缩摘要拆成若干条事实声明，比如实体、时间、数字、因果关系、结论等，然后回到原始证据中逐条校验：

摘要中的每个事实是否能被原文支持； 是否存在原文没有提到的“幻觉信息”； 是否存在与原文矛盾的表达； 关键限定条件有没有被改写错，比如“部分用户”被压缩成“所有用户”。

这类评估可以人工做，也可以用 NLI 模型或大模型做 entailment 判断，通常分成：支持、矛盾、无法判断。

2. 基于关键信息覆盖率评估

如果原始证据中有明确的关键信息，可以先抽取 gold key points，比如：

核心实体； 关键数字； 时间范围； 约束条件； 结论和原因； 后续任务需要依赖的证据片段。

然后检查压缩摘要中是否覆盖这些信息。这里关注的是 recall，也就是关键信息保留率。压缩摘要很流畅但漏掉核