检索增强生成(RAG)已成为增强大型语言模型(LLM)外部知识的基础范式,在现代信息检索和知识密集型任务中发挥着重要作用。标准的RAG系统通常采用静态的检索-生成管道,并依赖语境知识注入,但对于需要多跳推理、适应性信息访问和更深入的外部知识整合的复杂任务,这种方法可能不尽如人意。受到这些局限性的启发,研究社区已经超越了静态检索和语境知识注入。 在新兴的研究方向中,本教程深入探讨了RAG的两个快速发展的互补性研究方向:动态RAG和参数化RAG。动态RAG探讨了在LLM生成过程中何时以及检索什么,从而实现对不断变化的信息需求的实时适应。参数化RAG则重新思考如何将检索到的知识整合,从输入级别的知识注入转向参数级别的知识注入,以提高效率和效果。本教程全面回顾了这两个方向的最新进展,分享了理论基础和实践洞见,以支持和激发RAG领域进一步的研究。

成为VIP会员查看完整内容
16

相关内容

【SIGIR2025教程】检索增强机器学习:合成与机会
专知会员服务
21+阅读 · 7月14日
【KDD2024教程】RAG遇上LLMs:迈向检索增强的大语言模型
专知会员服务
67+阅读 · 2024年9月7日
【WWW2024教程】大型语言模型驱动智能体,附slides
专知会员服务
64+阅读 · 2024年5月14日
【KDD2023教程】用文本编辑模型的快速文本生成, 190页ppt
专知会员服务
27+阅读 · 2023年8月10日
干货 | 视频显著性目标检测(文末附有完整源码)
计算机视觉战队
14+阅读 · 2019年4月29日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关VIP内容
【SIGIR2025教程】检索增强机器学习:合成与机会
专知会员服务
21+阅读 · 7月14日
【KDD2024教程】RAG遇上LLMs:迈向检索增强的大语言模型
专知会员服务
67+阅读 · 2024年9月7日
【WWW2024教程】大型语言模型驱动智能体,附slides
专知会员服务
64+阅读 · 2024年5月14日
【KDD2023教程】用文本编辑模型的快速文本生成, 190页ppt
专知会员服务
27+阅读 · 2023年8月10日
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
29+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
相关论文
Arxiv
174+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
494+阅读 · 2023年3月31日
Arxiv
25+阅读 · 2023年3月17日
微信扫码咨询专知VIP会员