With the rapid progress of large language models (LLMs), financial information retrieval has become a critical industrial application. Extracting task-relevant information from lengthy financial filings is essential for both operational and analytical decision-making. The FinAgentBench dataset formalizes this problem through two tasks: document ranking and chunk ranking. We present PRISM, a training-free framework that integrates refined system prompting, in-context learning (ICL), and a lightweight multi-agent system. Each component is examined extensively to reveal their synergies: prompt engineering provides precise task instructions, ICL supplies semantically relevant few-shot examples, and the multi-agent system models coordinated scoring behaviour. Our best configuration achieves an NDCG@5 of 0.71818 on the restricted validation split. We further demonstrate that PRISM is feasible and robust for production-scale financial retrieval. Its modular, inference-only design makes it practical for real-world use cases. The source code is released at https://bit.ly/prism-ailens.


翻译:随着大语言模型(LLMs)的快速发展,金融信息检索已成为关键的工业应用。从冗长的财务文件中提取任务相关信息对于运营和分析决策至关重要。FinAgentBench 数据集通过文档排序和片段排序两项任务形式化这一问题。我们提出 PRISM,一种无需训练的框架,集成了精炼系统提示、上下文学习(ICL)和轻量级多智能体系统。各组件均经过深入分析以揭示其协同作用:提示工程提供精确的任务指令,ICL 提供语义相关的少样本示例,多智能体系统则建模协调的评分行为。我们的最佳配置在受限验证集上实现了 NDCG@5 为 0.71818。我们进一步证明 PRISM 对于生产规模的金融检索是可行且稳健的。其模块化、仅推理的设计使其适用于实际应用场景。源代码发布于 https://bit.ly/prism-ailens。

0
下载
关闭预览

相关内容

【Tutorial】计算机视觉中的Transformer,98页ppt
专知
21+阅读 · 2021年10月25日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
14+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员