We present Fractional Diffusion Bridge Models (FDBM), a novel generative diffusion bridge framework driven by an approximation of the rich and non-Markovian fractional Brownian motion (fBM). Real stochastic processes exhibit a degree of memory effects (correlations in time), long-range dependencies, roughness and anomalous diffusion phenomena that are not captured in standard diffusion or bridge modeling due to the use of Brownian motion (BM). As a remedy, leveraging a recent Markovian approximation of fBM (MA-fBM), we construct FDBM that enable tractable inference while preserving the non-Markovian nature of fBM. We prove the existence of a coupling-preserving generative diffusion bridge and leverage it for future state prediction from paired training data. We then extend our formulation to the Schr\"{o}dinger bridge problem and derive a principled loss function to learn the unpaired data translation. We evaluate FDBM on both tasks: predicting future protein conformations from aligned data, and unpaired image translation. In both settings, FDBM achieves superior performance compared to the Brownian baselines, yielding lower root mean squared deviation (RMSD) of C$_\alpha$ atomic positions in protein structure prediction and lower Fr\'echet Inception Distance (FID) in unpaired image translation.


翻译:本文提出分数扩散桥模型(FDBM),这是一种新颖的生成扩散桥框架,其驱动机制基于对丰富且非马尔可夫性质的分数布朗运动(fBM)的近似建模。真实随机过程通常表现出一定程度的记忆效应(时间相关性)、长程依赖性、粗糙性及反常扩散现象,这些特性在标准扩散或桥模型中使用布朗运动(BM)时无法被捕捉。为解决此问题,我们利用近期提出的分数布朗运动马尔可夫近似方法(MA-fBM),构建了FDBM,该模型在保持fBM非马尔可夫本质的同时实现了可处理的推断。我们证明了一种保持耦合性质的生成扩散桥的存在性,并利用该性质从配对训练数据中实现未来状态预测。随后,我们将该框架扩展至薛定谔桥问题,并推导出一种原则性的损失函数以学习非配对数据转换。我们在两项任务上评估FDBM:基于对齐数据预测未来蛋白质构象,以及非配对图像转换。在两种实验设置中,FDBM均表现出优于布朗运动基线的性能,在蛋白质结构预测中实现了更低的C$_\alpha$原子位置均方根偏差(RMSD),在非配对图像转换中获得了更低的弗雷歇起始距离(FID)。

0
下载
关闭预览

相关内容

FlowQA: Grasping Flow in History for Conversational Machine Comprehension
专知会员服务
34+阅读 · 2019年10月18日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
Keras François Chollet 《Deep Learning with Python 》, 386页pdf
专知会员服务
163+阅读 · 2019年10月12日
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Arxiv
0+阅读 · 12月4日
Arxiv
0+阅读 · 11月22日
Arxiv
0+阅读 · 11月19日
Deep Graph Infomax
Arxiv
17+阅读 · 2018年12月21日
Arxiv
10+阅读 · 2018年2月4日
VIP会员
相关VIP内容
相关资讯
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
STRCF for Visual Object Tracking
统计学习与视觉计算组
15+阅读 · 2018年5月29日
Focal Loss for Dense Object Detection
统计学习与视觉计算组
12+阅读 · 2018年3月15日
相关论文
Arxiv
0+阅读 · 12月4日
Arxiv
0+阅读 · 11月22日
Arxiv
0+阅读 · 11月19日
Deep Graph Infomax
Arxiv
17+阅读 · 2018年12月21日
Arxiv
10+阅读 · 2018年2月4日
相关基金
国家自然科学基金
13+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员