开源的预训练模型具有广泛的应用潜力,但当其训练数据不可获取时,模型效用会显著下降。无数据图像合成(Data-Free Image Synthesis,DFIS)旨在在不访问原始数据的前提下,生成逼近预训练模型所学习数据分布的图像。然而,现有 DFIS 方法因缺乏关于自然图像的先验,往往生成与真实训练数据分布偏离的样本。 为克服这一限制,我们提出 DDIS——首个扩散辅助的无数据图像合成方法。DDIS 利用文本-到-图像扩散模型作为强大的图像先验,显著提升合成图像质量。具体而言,DDIS 从给定模型中提取其学习到的数据分布知识,并用这些知识引导扩散模型,进而生成与训练数据分布高度对齐的图像。 为实现这一目标,我们提出: 1. 域对齐引导(Domain Alignment Guidance,DAG):在扩散采样过程中,使合成数据域与训练数据域保持一致。 1. 类别对齐标记(Class Alignment Token,CAT):通过优化单个 CAT 嵌入,有效捕捉训练数据集中各类别的特定属性。

在 PACS 与 ImageNet 数据集上的实验表明,DDIS 相较于现有 DFIS 方法能够生成更符合训练数据分布的样本,在无数据应用场景中取得了最新的 SOTA(State-of-the-Art)性能。

成为VIP会员查看完整内容
0

相关内容

多模态基础模型的机制可解释性综述
专知会员服务
36+阅读 · 2月28日
【CVPR2024】渐进式语义引导视觉变换器用于零样本学习
专知会员服务
19+阅读 · 2024年4月13日
【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【NeurIPS2023】提示增强的时态点过程用于流事件序列
专知会员服务
16+阅读 · 2023年10月15日
【AAAI2023】类增量学习的在线超参数优化
专知会员服务
20+阅读 · 2023年1月18日
【ICML2022】Sharp-MAML:锐度感知的模型无关元学习
专知会员服务
17+阅读 · 2022年6月10日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
21+阅读 · 2022年4月20日
【ICML2020】图神经网络谱聚类
专知
10+阅读 · 2020年7月7日
如何使用自然语言工具包(NLTK)在Python3中执行情感分析
Python程序员
21+阅读 · 2019年10月28日
基于Tacotron模型的语音合成实践
深度学习每日摘要
15+阅读 · 2018年12月25日
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
A Survey of Large Language Models
Arxiv
465+阅读 · 2023年3月31日
Arxiv
68+阅读 · 2022年9月7日
Arxiv
18+阅读 · 2021年3月16日
Augmentation for small object detection
Arxiv
11+阅读 · 2019年2月19日
VIP会员
相关VIP内容
多模态基础模型的机制可解释性综述
专知会员服务
36+阅读 · 2月28日
【CVPR2024】渐进式语义引导视觉变换器用于零样本学习
专知会员服务
19+阅读 · 2024年4月13日
【CVPR2024】掩码自解码器是有效的多任务视觉通用模型
专知会员服务
20+阅读 · 2024年3月16日
【NeurIPS2023】提示增强的时态点过程用于流事件序列
专知会员服务
16+阅读 · 2023年10月15日
【AAAI2023】类增量学习的在线超参数优化
专知会员服务
20+阅读 · 2023年1月18日
【ICML2022】Sharp-MAML:锐度感知的模型无关元学习
专知会员服务
17+阅读 · 2022年6月10日
【CVPR2022】多视图聚合的大规模三维语义分割
专知会员服务
21+阅读 · 2022年4月20日
相关基金
国家自然科学基金
2+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
5+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
1+阅读 · 2014年12月31日
国家自然科学基金
3+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
微信扫码咨询专知VIP会员