迭代式RAG、KG增强及限度数据注入大模子想路

著述转自公众号老刘说NLP

今天对于大模子有个进展，便是Meta发布视频模子Meta Movie Gen，主打的点是Movie Gen能平直生成带布景音乐的视频，目下Sora、Runway、Luma等一线居品都无法提供该功能。但是，这个目下并未对外灵通，无法使用。

今天，陆续来看，看对于迭代式RAG的几种想路、特定限度数据注入到大模子的神志以及对于基于图谱的RAG增强神志三个问题。

连接跟进，连接想考，供大众一都参考并想考。

一、对于迭代式RAG的几种想路

迭代式RAG处理的是那些波及隐式事实的查询，这类查询频繁需要通过多法子的推理来解答。这些查询的谜底不会平直呈当今职何单一文本段落中，而是需要通过征集和处理多个文档中的信息，并将这些信息组合起来，通过知识推理得出论断。

迭代式RAG门径的中枢在于，会动态地限定多法子的RAG过程，通过迭代地网罗或检阅信息，直到找到正确谜底。

1、基于打算的门径

在检索前阶段生成逐渐检索谈论，或在检索过程中动态生成，不错细化每次检索的要点，灵验地指挥迭代式RAG系统。

举例，ReAct《React: Synergizing reasoning and acting in language models》逐渐更新每个法子的见地，减少回报查询所需的知识差距。

IRCoT《Interleaving retrieval with chain- of-thought reasoning for knowledge-intensive multi-step questions》和RAT《Rat: Retrieval augmented thoughts elicit context-aware reasoning in long-horizon generation》使用想维链来指挥RAG过程，基于先前调回的信息决定面前检索见地。

GenGround《Generate-then-ground in retrieval-augmented generation for multi-hop question answering》使LLM大略在两个阶段之间轮流进行，直到得出最终谜底：(1)生成一个更浅显的单步问题并产生平直谜底，(2)将问题-谜底对回溯到检索的文档，以考据和检阅瞻望中的任何不准确之处。这种迭代过程确保了更可靠和准确的反映。

2、基于信息差距填补的门径

ITRG《Retrieval-generation synergy augmented large language models》引入了一个迭代式检索-生成调解框架，基于现存知识生成谜底，然后陆续检索和生成后续轮次中未知部分的谜底。

雷同地，FLARE《Active retrieval augmented generation》在每次迭代中再行扫视并修改谜底中低概率的标记。

另一方面，Self-RAG《Self-rag: Learning to retrieve, generate, and critique through self-reflection》微调一个大模子，以自主决定何时搜索和何时罢手搜索并运行回报问题。

这些门径通过将复杂查询领会为一系列更浅显的检索操作，并逐渐团聚收尾以酿成详细谜底，从而灵验地处理隐式事实查询。

二、对于基于图谱的RAG增强神志

处理隐式事实查询需要从多个参考尊府中详细信息。不管是基于知识的图谱依然数据结构化的图谱，图或树都当然地抒发了文本之间的关联关系，因此疏淡合乎这类数据检索问题。

1、传统知识图谱Traditional Knowledge Graph

领先有计划用于普及LLMs遵循的结构之一是传统知识图谱，其中每个节点代表一个实体，节点之间的边默示这些实体之间的关系。

举例，《Unifying large language models and knowledge graphs: A roadmap》先容了LLMs和知识图谱（KGs）调节的前瞻性发展阶梯图，包括：

1）知识图谱增强的LLMs，在LLMs的预历练和推理阶段整合知识图谱，以加深模子对赢得知识的相识；

2）LLMs增强的知识图谱，应用LLMs履行多样知识图谱任务，如镶嵌、补全、构建、图到文本生成和问答；

3）调解的LLMs+KGs门径，LLMs和KGs饰演互补的脚色，通过数据和知识驱动的双向推理互相增强。

Rigel-KQGA《Knowledge graph-augmented language models for complex question answering》模子，是一个端到端的知识图谱问答模子，它把柄查询瞻望所需的知识图谱节点，并将此与LLM调节起来得出谜底。像Think-on-Graph《Think-on-graph: Deep and responsible reasoning of large language model on knowledge graph》和KnowledgeNavigator《Knowledgenavigator: Leveraging large language models for enhanced reasoning over knowledge graph》这么的使命提真金不怕火查询中波及的实体，然后在图上履行迭代的广度优先搜索（BFS），使用LLM行为想考机器来笃定最优的探索旅途并履行剪枝。

R3《Right for right reasons: Large language models for verifiable commonsense knowledge graph question answering》引入了几种可能的知识公理通过LLM来处理查询，律例搜索干系的知识子图，以评估面前信息是否足以回报问题，陆续进行直到问题处置。

2、数据块图/树Data Chunk Graph/Tree

LLMs的超卓阅读相识才气使它们大略灵验地相识文本，而无需将其领会成最细粒度的实体和关系。在这种情况下，筹商东说念主员运行尝试使用文本块或数据块行为图或树上的节点，使用边来默示高档或更复杂瞎想的关联。

Knowledge-Graph-Prompting《Knowledge graph prompting for multi-document question answering》接头了需要从(a)桥接问题依赖于律例推理，(b)比拟问题依赖于不同段落的并行推理，以及(c)结构问题依赖于相应文档结构中挖掘隐式事实的三种常见问题类型。

为了处置这些问题，Knowledge-Graph-Prompting使用实体识别、TF-IDF、KNN和文档结构眉目来构建文档图，并提真金不怕火子图以回报问题。

MoGG《Mix-of-granularity: Optimize the chunking granularity for retrieval-augmented generation》将一句话或两句话行为最小的语义单位，使用这些行为节点，并把柄节点之间的语义相似性构建边。它还历练一个瞻望器来决定回报查询所需的文本粒度，通过决定需要多大的子图。

为了捕捉文本块之间更高档别的语义关系，RAPTOR《Raptor: Recursive abstractive processing for tree-organized retrieval》使用聚类算法将最细粒度的文本块进行眉目聚类。它在每个眉目级别上总结新的语义信息，回忆起节点内折叠树中最必要的信息。

同样，GraphRAG《From local to global: A graph rag approach to query-focused summarization》聘用了聚类门径。它领先基于语义相似性承接最小的文本块，然后使用社区检测算法对节点进行分组。终末，它通过分析每个节点社区内的回报来总结查询的全局谜底。

三、特定限度数据注入到大模子的神志

图 6 样子了将特定限度数据注入到大型言语模子（LLM）中的三种神志：

1、基于查询提真金不怕火限度数据行为高下文输入

在这种门径中，系统会把柄用户的查询从限度数据中提真金不怕火干系的数据片断，并将这些片断行为高下文信息输入到LLM中。

这么，模子在生成回报时不错应用这些高下文信息来提供愈加准确和干系的回报。这种门径的优点在于它大略提供较好的讲解性和踏实性，但挑战在于高下文窗口有限，且可能会在处理过程中丢失中间信息。

b) 历练袖珍模子相似外部信息的整合

在这种门径中，开始使用特定限度的数据历练一个袖珍模子。这个袖珍模子随后用于指挥若何整合外部信息到LLM中。

这种门径的优点是不错减少历练技艺和资源破钞，况兼不错处理大宗的数据。但它的灵验性依赖于袖珍模子的才气，况兼可能会限定LLM在处理更复杂任务时的性能。

c) 平直使用限度知识进行微调

在这种门径中，平直使用外部的限度特定知识对通用的大型言语模子进行微调，使其成为限度大众模子。

微调不错匡助模子快速掌捏新的限度特定知识，普及其在特定任务上的发扬。但是，微调可能会影响模子在处理与历练数据不干系或未包含在历练数据中的任务时的性能。

这三种门径各有上风和局限性，弃取哪一种门径取决于数据源的特质、任务需求、以及可用的臆测资源。在骨子应用中，可能会把柄特定需乞降条目弃取最合适的门径，或者将这些门径调节起来使用，以达到最好效率。

总结

本文主要总结了三个话题bat3652024官网，对于迭代式RAG的几种想路、特定限度数据注入到大模子的神志以及对于基于图谱的RAG增强神志。