美空军部在采用大语言模型(LLM)时面临独特挑战。商用模型通常缺乏支持空军人员所需的领域专业知识,因为这些信息并未内置其中。为保持竞争优势,集成大语言模型以提升效率与决策能力已成为关键优先事项。本报告探讨两种创新方法,旨在将领域知识更有效地融入语言模型并提升相关信息发现能力。其一是实体图谱持续预训练技术,通过持续训练将专业知识嵌入语言模型;其二是GFM-RAG图谱检索增强生成框架,这是一种改进多跳检索与复杂信息连接的知识检索与合成新方法。通过定量与定性评估,衡量了它们对检索精度与响应相关性的影响。研究结果表明,这些定制化方法在简化信息获取、改进决策支持、更好满足空军部作战需求方面具有显著潜力。

人工智能融入军事作业的呼声不断高涨。然而,尽管商用大语言模型潜力巨大,但其处理涉密信息与适应特殊领域的能力不足,制约了在政府部门的推广应用。

美空军部非密级大语言模型(NIPRGPT)计划标志着国防部采纳该技术的重要进展。尽管如此,挑战依然存在,特别是满足各美国防部机构对细分领域定制模型日益增长的需求。这类模型将支持高智能体在垂直领域运作,为用户提供更精准的信息服务。

图1:NIPRGPT团队接收的定制化模型需求

传统的检索增强生成(RAG)方法通过外接文档检索增强大语言模型能力来应对这些挑战。但现有检索增强生成方案存在多重局限,包括多跳检索困难、数据稀疏性问题以及新信息合成复杂性。这些缺陷制约了大语言模型满足国防作战场景化需求的能力。

本研究评估两种方法论——实体图谱持续预训练与GFM图谱检索增强生成框架,通过将领域知识注入大语言模型,以提升其在空军作战环境中的性能。通过将这些框架应用于空军文档语料库,我们评估了其在检索精度、响应相关性和复杂信息合成方面的影响。初步结果表明,这些方法在专业任务的信息获取、决策支持和领域适应方面具有显著的提升潜力。

成为VIP会员查看完整内容
2

相关内容

人工智能在军事中可用于多项任务,例如目标识别、大数据处理、作战系统、网络安全、后勤运输、战争医疗、威胁和安全监测以及战斗模拟和训练。
【2022新书】深度学习归一化技术,117页pdf
专知
29+阅读 · 2022年11月25日
最新《可解释人工智能》概述,50页ppt
专知
10+阅读 · 2021年3月17日
国家自然科学基金
35+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
Arxiv
172+阅读 · 2023年4月20日
A Survey of Large Language Models
Arxiv
487+阅读 · 2023年3月31日
Arxiv
80+阅读 · 2023年3月26日
Arxiv
177+阅读 · 2023年3月24日
Arxiv
25+阅读 · 2023年3月17日
VIP会员
相关基金
国家自然科学基金
35+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
15+阅读 · 2015年12月31日
国家自然科学基金
39+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员