RAG 的 Generator 优化之 Verification

通过 llm 评估模型的生成结果

Knowledge-base

通过外部知识验证 LLM 生成的答案。通常首先从生成的答案中提取特定的陈述或三元组,然后从验证过的知识库(如维基百科或知识图谱)中检索相关证据。最后将每个陈述与证据进行对比,以确定该陈述是被支持、被驳斥,还是缺乏足够的证据

Model-based

使用小型语言模型来验证 LLM 生成的答案。根据输入的问题、检索到的知识和生成的答案,训练一个小型语言模型来判断生成的答案是否正确反映了检索到的信息。该过程类似于多项选择题,验证器需判断答案是否正确反映了相关内容。如果答案不正确,可以重新生成答案,直到验证器确认答案正确