Solving time-dependent parametric partial differential equations (PDEs) remains a fundamental challenge for neural solvers, particularly when generalizing across a wide range of physical parameters and dynamics. When data is uncertain or incomplete-as is often the case-a natural approach is to turn to generative models. We introduce ENMA, a generative neural operator designed to model spatio-temporal dynamics arising from physical phenomena. ENMA predicts future dynamics in a compressed latent space using a generative masked autoregressive transformer trained with flow matching loss, enabling tokenwise generation. Irregularly sampled spatial observations are encoded into uniform latent representations via attention mechanisms and further compressed through a spatio-temporal convolutional encoder. This allows ENMA to perform in-context learning at inference time by conditioning on either past states of the target trajectory or auxiliary context trajectories with similar dynamics. The result is a robust and adaptable framework that generalizes to new PDE regimes and supports one-shot surrogate modeling of time-dependent parametric PDEs.


翻译:求解时间依赖的参数化偏微分方程(PDEs)仍然是神经求解器面临的核心挑战,尤其是在跨越广泛的物理参数和动力学行为进行泛化时。当数据存在不确定性或不完整性——这通常是常见情况——一种自然的解决途径是转向生成模型。本文提出ENMA,一种旨在建模由物理现象产生的时空动力学的生成式神经算子。ENMA在压缩的潜在空间中预测未来动力学,采用基于流匹配损失训练的生成式掩码自回归Transformer,实现逐令牌生成。不规则采样的空间观测通过注意力机制编码为均匀的潜在表示,并经由时空卷积编码器进一步压缩。这使得ENMA能够在推理时通过条件化目标轨迹的过去状态或具有相似动力学的辅助上下文轨迹,执行上下文学习。其结果是构建了一个鲁棒且适应性强的框架,能够泛化至新的PDE体系,并支持时间依赖参数化PDE的单次代理建模。

0
下载
关闭预览

相关内容

【CVPR2021】CausalVAE: 引入因果结构的解耦表示学习
专知会员服务
37+阅读 · 2021年3月28日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【CVPR2021】CausalVAE: 引入因果结构的解耦表示学习
专知会员服务
37+阅读 · 2021年3月28日
【WSDM2021】拓扑去噪的鲁棒图神经网络
专知会员服务
27+阅读 · 2020年11月14日
相关基金
国家自然科学基金
0+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员