Generalized planning using deep reinforcement learning (RL) combined with graph neural networks (GNNs) has shown promising results in various symbolic planning domains described by PDDL. However, existing approaches typically represent planning states as fully connected graphs, leading to a combinatorial explosion in edge information and substantial sparsity as problem scales grow, especially evident in large grid-based environments. This dense representation results in diluted node-level information, exponentially increases memory requirements, and ultimately makes learning infeasible for larger-scale problems. To address these challenges, we propose a sparse, goal-aware GNN representation that selectively encodes relevant local relationships and explicitly integrates spatial features related to the goal. We validate our approach by designing novel drone mission scenarios based on PDDL within a grid world, effectively simulating realistic mission execution environments. Our experimental results demonstrate that our method scales effectively to larger grid sizes previously infeasible with dense graph representations and substantially improves policy generalization and success rates. Our findings provide a practical foundation for addressing realistic, large-scale generalized planning tasks.


翻译:基于深度强化学习(RL)与图神经网络(GNN)相结合的广义规划方法,在由PDDL描述的多种符号规划领域中已展现出有前景的结果。然而,现有方法通常将规划状态表示为全连接图,这导致边信息呈组合爆炸式增长,且随着问题规模扩大产生显著的稀疏性,在大型网格环境中尤为明显。这种密集表示导致节点级信息被稀释,内存需求呈指数级增加,并最终使得大规模问题的学习变得不可行。为应对这些挑战,我们提出一种稀疏、目标感知的GNN表示方法,该方法选择性地编码相关局部关系,并显式集成与目标相关的空间特征。我们通过在网格世界中基于PDDL设计新颖的无人机任务场景来验证所提方法,有效模拟了真实的任务执行环境。实验结果表明,我们的方法能够有效扩展至先前密集图表示无法处理的大型网格尺寸,并显著提升策略泛化能力和任务成功率。本研究结果为处理真实、大规模的广义规划任务提供了实用基础。

0
下载
关闭预览

相关内容

【KDD2024】面向鲁棒推荐的决策边界感知图对比学习
专知会员服务
21+阅读 · 2024年8月8日
专知会员服务
30+阅读 · 2021年2月26日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员