Vision-language-action (VLA) models aim to understand natural language instructions and visual observations and to execute corresponding actions as an embodied agent. Recent work integrates future images into the understanding-acting loop, yielding unified VLAs that jointly understand, generate, and act -- reading text and images and producing future images and actions. However, these models either rely on external experts for modality unification or treat image generation and action prediction as separate processes, limiting the benefits of direct synergy between these tasks. Our core philosophy is to optimize generation and action jointly through a synchronous denoising process, where the iterative refinement enables actions to evolve from initialization, under constant and sufficient visual guidance. We ground this philosophy in our proposed Unified Diffusion VLA and Joint Discrete Denoising Diffusion Process (JD3P), which is a joint diffusion process that integrates multiple modalities into a single denoising trajectory to serve as the key mechanism enabling understanding, generation, and acting to be intrinsically synergistic. Our model and theory are built on a unified tokenized space of all modalities and a hybrid attention mechanism. We further propose a two-stage training pipeline and several inference-time techniques that optimize performance and efficiency. Our approach achieves state-of-the-art performance on benchmarks such as CALVIN, LIBERO, and SimplerEnv with 4$\times$ faster inference than autoregressive methods, and we demonstrate its effectiveness through in-depth analysis and real-world evaluations. Our project page is available at https://irpn-eai.github.io/UD-VLA.github.io/.


翻译:视觉-语言-动作(VLA)模型旨在理解自然语言指令与视觉观察,并作为具身智能体执行相应动作。近期研究将未来图像整合至理解-行动循环中,形成了能够联合理解、生成与行动的统一VLA模型——它们读取文本与图像,并生成未来图像及动作。然而,现有模型要么依赖外部专家实现模态统一,要么将图像生成与动作预测视为独立过程,限制了任务间直接协同的效益。我们的核心理念是通过同步去噪过程联合优化生成与动作,其中迭代优化使动作能够在持续且充分的视觉引导下从初始状态逐步演化。我们将这一理念具体化为提出的统一扩散VLA模型及联合离散去噪扩散过程(JD3P),该联合扩散过程将多模态整合至单一去噪轨迹中,作为实现理解、生成与行动内在协同的关键机制。我们的模型与理论建立在所有模态的统一标记化空间及混合注意力机制之上。我们进一步提出两阶段训练流程及多项推理时优化技术,以提升性能与效率。该方法在CALVIN、LIBERO和SimplerEnv等基准测试中达到最先进性能,推理速度比自回归方法快4倍,并通过深入分析与现实场景评估验证了其有效性。项目页面详见:https://irpn-eai.github.io/UD-VLA.github.io/。

0
下载
关闭预览

相关内容

【KDD2024】HiGPT:异构图语言模型
专知会员服务
19+阅读 · 2024年7月9日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员