We introduce OceanGym, the first comprehensive benchmark for ocean underwater embodied agents, designed to advance AI in one of the most demanding real-world environments. Unlike terrestrial or aerial domains, underwater settings present extreme perceptual and decision-making challenges, including low visibility, dynamic ocean currents, making effective agent deployment exceptionally difficult. OceanGym encompasses eight realistic task domains and a unified agent framework driven by Multi-modal Large Language Models (MLLMs), which integrates perception, memory, and sequential decision-making. Agents are required to comprehend optical and sonar data, autonomously explore complex environments, and accomplish long-horizon objectives under these harsh conditions. Extensive experiments reveal substantial gaps between state-of-the-art MLLM-driven agents and human experts, highlighting the persistent difficulty of perception, planning, and adaptability in ocean underwater environments. By providing a high-fidelity, rigorously designed platform, OceanGym establishes a testbed for developing robust embodied AI and transferring these capabilities to real-world autonomous ocean underwater vehicles, marking a decisive step toward intelligent agents capable of operating in one of Earth's last unexplored frontiers. The code and data are available at https://github.com/OceanGPT/OceanGym.


翻译:我们推出了OceanGym,这是首个面向海洋水下具身智能体的综合性基准测试环境,旨在推动人工智能在最具挑战性的真实世界环境之一的发展。与陆地或空中领域不同,水下环境呈现出极端的感知与决策挑战,包括低能见度、动态洋流等,使得智能体的有效部署异常困难。OceanGym涵盖八个现实任务领域,并构建了一个由多模态大语言模型(MLLMs)驱动的统一智能体框架,该框架整合了感知、记忆与序列决策能力。智能体需理解光学与声呐数据,在复杂环境中自主探索,并在这些严苛条件下完成长时程目标。大量实验表明,当前最先进的MLLM驱动智能体与人类专家之间仍存在显著差距,突显了在海洋水下环境中感知、规划与适应性方面持续存在的困难。通过提供一个高保真、精心设计的平台,OceanGym为开发鲁棒的具身人工智能及将这些能力迁移至真实世界的自主水下航行器建立了测试基准,标志着向能在人类最后未充分探索的疆域之一运作的智能体迈出了关键一步。代码与数据可在https://github.com/OceanGPT/OceanGym获取。

0
下载
关闭预览

相关内容

OpenAI GPT 4.5 报告 (中英文版)
专知会员服务
40+阅读 · 3月1日
预知未来——Gluon 时间序列工具包(GluonTS)
ApacheMXNet
24+阅读 · 2019年6月25日
Auto-Keras与AutoML:入门指南
云栖社区
18+阅读 · 2019年2月9日
DeepMind:用PopArt进行多任务深度强化学习
论智
29+阅读 · 2018年9月14日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员