RAG 的 PostRetrieval 优化之 Rerank

重新排名是检索增强生成 (RAG) 中最常用的技术之一,在从数据库中检索数据后应用。在此方法中,检索到的数据使用 reranker 模型重新排名,该模型根据文档与查询的相关性对文档进行排序

检索结果重排序Rerank-20241216135816

ReRank-Rulebase

计算指标以重新排列块根据某些规则。常见的指标包括:多样性,相关性和 MRR(最大边际相关性)。

这个其想法是减少冗余并增加结果多样性。MMR 根据以下条件为最终关键短语列表选择短语查询相关性和信息新颖性相结合的标准。

ReRank-Modelbase

Reranker 模型(例如 Cohere 的 Rerank 3)是专门的 AI 模型,用于评估这些检索到的文档与用户查询相关的相关性并确定其优先级。这些模型对较小的候选文档集进行操作,侧重于根据查询和文档的上下文微调排名。通常在包含相关和不相关文档示例的数据集上进行训练,reranker 可以有效地区分高质量的结果和不太相关的结果