The multi-step denoising process in diffusion and Flow Matching models causes major efficiency issues, which motivates research on few-step generation. We present Solution Flow Models (SoFlow), a framework for one-step generation from scratch. By analyzing the relationship between the velocity function and the solution function of the velocity ordinary differential equation (ODE), we propose a Flow Matching loss and a solution consistency loss to train our models. The Flow Matching loss allows our models to provide estimated velocity fields for Classifier-Free Guidance (CFG) during training, which improves generation performance. Notably, our consistency loss does not require the calculation of the Jacobian-vector product (JVP), a common requirement in recent works that is not well-optimized in deep learning frameworks like PyTorch. Experimental results indicate that, when trained from scratch using the same Diffusion Transformer (DiT) architecture and an equal number of training epochs, our models achieve better FID-50K scores than MeanFlow models on the ImageNet 256x256 dataset.


翻译:扩散模型与流匹配模型中的多步去噪过程导致了显著的效率问题,这推动了对少步生成的研究。我们提出了解流模型(SoFlow),一种从零开始进行一步生成的框架。通过分析速度常微分方程(ODE)中速度函数与解函数之间的关系,我们提出了一种流匹配损失与解一致性损失来训练模型。流匹配损失使我们的模型能够在训练过程中为无分类器引导(CFG)提供估计的速度场,从而提升生成性能。值得注意的是,我们的一致性损失无需计算雅可比-向量积(JVP)——这是近期工作中常见但在PyTorch等深度学习框架中未得到充分优化的要求。实验结果表明,在使用相同的扩散Transformer(DiT)架构和相等训练轮数从零开始训练时,我们的模型在ImageNet 256x256数据集上取得了优于MeanFlow模型的FID-50K分数。

0
下载
关闭预览

相关内容

【ICML2024】基于正则化的持续学习的统计理论
专知会员服务
21+阅读 · 2024年6月11日
专知会员服务
19+阅读 · 2021年8月15日
专知会员服务
12+阅读 · 2021年6月20日
专知会员服务
82+阅读 · 2021年5月10日
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关VIP内容
【ICML2024】基于正则化的持续学习的统计理论
专知会员服务
21+阅读 · 2024年6月11日
专知会员服务
19+阅读 · 2021年8月15日
专知会员服务
12+阅读 · 2021年6月20日
专知会员服务
82+阅读 · 2021年5月10日
相关资讯
【NeurIPS2019】图变换网络:Graph Transformer Network
误差反向传播——CNN
统计学习与视觉计算组
30+阅读 · 2018年7月12日
半监督多任务学习:Semisupervised Multitask Learning
我爱读PAMI
18+阅读 · 2018年4月29日
MNIST入门:贝叶斯方法
Python程序员
23+阅读 · 2017年7月3日
相关基金
国家自然科学基金
2+阅读 · 2017年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员