Content affinity loss including feature and pixel affinity is a main problem which leads to artifacts in photorealistic and video style transfer. This paper proposes a new framework named CAP-VSTNet, which consists of a new reversible residual network and an unbiased linear transform module, for versatile style transfer. This reversible residual network can not only preserve content affinity but not introduce redundant information as traditional reversible networks, and hence facilitate better stylization. Empowered by Matting Laplacian training loss which can address the pixel affinity loss problem led by the linear transform, the proposed framework is applicable and effective on versatile style transfer. Extensive experiments show that CAP-VSTNet can produce better qualitative and quantitative results in comparison with the state-of-the-art methods.


翻译:内容亲和性损失包括特征和像素亲和力是照片逼真和视频风格转移中导致伪影的主要问题。本文提出了一种新的框架,名为CAP-VSTNet,它由一个新的可逆残差网络和一个无偏线性变换模块组成,用于多功能风格转移。这个可逆残差网络不仅可以保持内容亲和力,而且不像传统的可逆网络那样引入冗余信息,从而促进更好的样式化。由于使用了可以解决线性变换导致的像素亲和丢失问题的Matting Laplacian训练损失,因此提出的框架可以适用于多功能风格转移,并且非常有效。广泛的实验表明,CAP-VSTNet可以产生比现有方法更好的定性和定量结果。

0
下载
关闭预览

相关内容

CAP原则又称CAP定理,指的是在一个分布式系统中,Consistency(一致性)、 Availability(可用性)、Partition tolerance(分区容错性),三者不可得兼。
Hierarchically Structured Meta-learning
CreateAMind
27+阅读 · 2019年5月22日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Arxiv
0+阅读 · 2023年5月19日
VIP会员
相关基金
国家自然科学基金
0+阅读 · 2016年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
国家自然科学基金
0+阅读 · 2012年12月31日
Top
微信扫码咨询专知VIP会员