In general, intrinsic image decomposition algorithms interpret shading as one unified component including all photometric effects. As shading transitions are generally smoother than reflectance (albedo) changes, these methods may fail in distinguishing strong photometric effects from reflectance variations. Therefore, in this paper, we propose to decompose the shading component into direct (illumination) and indirect shading (ambient light and shadows) subcomponents. The aim is to distinguish strong photometric effects from reflectance variations. An end-to-end deep convolutional neural network (ShadingNet) is proposed that operates in a fine-to-coarse manner with a specialized fusion and refinement unit exploiting the fine-grained shading model. It is designed to learn specific reflectance cues separated from specific photometric effects to analyze the disentanglement capability. A large-scale dataset of scene-level synthetic images of outdoor natural environments is provided with fine-grained intrinsic image ground-truths. Large scale experiments show that our approach using fine-grained shading decompositions outperforms state-of-the-art algorithms utilizing unified shading on NED, MPI Sintel, GTA V, IIW, MIT Intrinsic Images, 3DRMS and SRD datasets.


翻译:一般而言,内在图像分解算法将阴影解释为包括所有光度效应在内的一个统一组成部分。由于阴影转换一般比反射(阿尔贝多)变化平稳,这些方法可能无法区分反射变异的强光度效果。因此,在本文件中,我们提议将阴影部分分解为直接(照明)和间接阴影(环境光和阴影)子组成部分。目的是区分强光度测影效应和反射变异。一个尾端至端深深层共振神经网络(ShadingNet)建议以精细至透析的方式运行,使用精细的混合和精细精细单位,利用微的反光度变影模型模型,目的是从具体的光度效应中分离出具体的反光度信号,以分析分解能力。一个大型的室外自然环境景级合成图像数据集提供了精细的内在图像。大型实验显示,我们使用精细的影化影化的内置图像、MIT-MS 3号、SIMIS 图像变形模型在二号、IMIS IMIS II 上使用精化的S-DADADMS-DADGMSDRADMSDADMDDDMDMDMDMDMDMS

0
下载
关闭预览

相关内容

【芝加哥大学】可变形的风格转移,Deformable Style Transfer
专知会员服务
31+阅读 · 2020年3月26日
Stabilizing Transformers for Reinforcement Learning
专知会员服务
60+阅读 · 2019年10月17日
【SIGGRAPH2019】TensorFlow 2.0深度学习计算机图形学应用
专知会员服务
41+阅读 · 2019年10月9日
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
计算机视觉领域顶会CVPR 2018 接受论文列表
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Arxiv
7+阅读 · 2018年4月24日
Arxiv
4+阅读 · 2018年3月14日
VIP会员
相关资讯
Transferring Knowledge across Learning Processes
CreateAMind
29+阅读 · 2019年5月18日
Unsupervised Learning via Meta-Learning
CreateAMind
43+阅读 · 2019年1月3日
disentangled-representation-papers
CreateAMind
26+阅读 · 2018年9月12日
计算机视觉领域顶会CVPR 2018 接受论文列表
条件GAN重大改进!cGANs with Projection Discriminator
CreateAMind
8+阅读 · 2018年2月7日
Top
微信扫码咨询专知VIP会员