Image retouching aims to enhance visual quality while aligning with users' personalized aesthetic preferences. To address the challenge of balancing controllability and subjectivity, we propose a unified diffusion-based image retouching framework called PerTouch. Our method supports semantic-level image retouching while maintaining global aesthetics. Using parameter maps containing attribute values in specific semantic regions as input, PerTouch constructs an explicit parameter-to-image mapping for fine-grained image retouching. To improve semantic boundary perception, we introduce semantic replacement and parameter perturbation mechanisms in the training process. To connect natural language instructions with visual control, we develop a VLM-driven agent that can handle both strong and weak user instructions. Equipped with mechanisms of feedback-driven rethinking and scene-aware memory, PerTouch better aligns with user intent and captures long-term preferences. Extensive experiments demonstrate each component's effectiveness and the superior performance of PerTouch in personalized image retouching. Code is available at: https://github.com/Auroral703/PerTouch.


翻译:图像润饰旨在提升视觉质量,同时贴合用户的个性化审美偏好。为应对可控性与主观性之间的平衡挑战,本文提出了一种统一的基于扩散模型的图像润饰框架,命名为PerTouch。该方法支持语义层面的图像润饰,同时保持全局美学一致性。PerTouch以包含特定语义区域属性值的参数图作为输入,构建了显式的参数到图像的映射,实现细粒度图像润饰。为增强语义边界感知能力,我们在训练过程中引入了语义替换与参数扰动机制。为连接自然语言指令与视觉控制,我们开发了一种基于视觉语言模型(VLM)驱动的智能体,能够同时处理强约束与弱约束的用户指令。通过配备反馈驱动的反思机制与场景感知记忆模块,PerTouch能更好地对齐用户意图并捕捉长期偏好。大量实验验证了各模块的有效性,并证明了PerTouch在个性化图像润饰任务中的优越性能。代码发布于:https://github.com/Auroral703/PerTouch。

0
下载
关闭预览

相关内容

Kaggle知识点:伪标签Pseudo Label
AINLP
40+阅读 · 2020年8月9日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
VIP会员
相关资讯
Kaggle知识点:伪标签Pseudo Label
AINLP
40+阅读 · 2020年8月9日
LibRec 每周算法:LDA主题模型
LibRec智能推荐
29+阅读 · 2017年12月4日
语义分割中的深度学习方法全解:从FCN、SegNet到DeepLab
炼数成金订阅号
26+阅读 · 2017年7月10日
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
8+阅读 · 2015年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
6+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员