RAG 的 Orchestration 优化之 Fusion

发表于 2024-10-13 更新于 2025-01-18 分类于 2-深度学习， LLM开发工程师指南， RAG ， NextRAG 阅读次数：本文字数： 448 阅读时长 ≈ 1 分钟

随着 RAG 流程超越了传统的线性模式，常常需要扩展检索范围或通过多个处理管道来增加多样性。因此，在扩展到不同分支后，融合模块用于整合信息，确保生成的回答全面且一致。融合模块不仅合并答案，还确保输出内容丰富，并能充分反映问题的多维度特性

多分支信息整合的一种直接方法是利用 LLM 强大的能力，分析并整合来自不同分支的信息。然而，这种方法面临一些挑战，尤其是当答案长度超过 LLM 的上下文窗口限制时。为解决这一问题，通常会先对各个分支的答案进行总结，提取其中的关键信息，再将这些摘要输入 LLM，以确保在长度限制内保留最重要的内容。

根据不同分支生成的 token 加权，进行最终答案的选择

一种集成技术，用于将多个检索结果的排名合成为统一列表。RRF 采用加权平均的方法，提升整体预测性能和排名精度。其优势在于动态调整权重，基于分支间的相互作用来优化输出。RRF 在模型或数据源异质性较大的情况下，表现出色，能够显著提高预测的准确性。