With the rapid advancement of intelligent transportation systems, text-driven image generation and editing techniques have demonstrated significant potential in providing rich, controllable visual scene data for applications such as traffic monitoring and autonomous driving. However, several challenges remain, including insufficient semantic richness of generated traffic elements, limited camera viewpoints, low visual fidelity of synthesized images, and poor alignment between textual descriptions and generated content. To address these issues, we propose a unified text-driven framework for both image generation and editing, leveraging a controllable mask mechanism to seamlessly integrate the two tasks. Furthermore, we incorporate both vehicle-side and roadside multi-view data to enhance the geometric diversity of traffic scenes. Our training strategy follows a two-stage paradigm: first, we perform conceptual learning using large-scale coarse-grained text-image data; then, we fine-tune with fine-grained descriptive data to enhance text-image alignment and detail quality. Additionally, we introduce a mask-region-weighted loss that dynamically emphasizes small yet critical regions during training, thereby substantially enhancing the generation fidelity of small-scale traffic elements. Extensive experiments demonstrate that our method achieves leading performance in text-based image generation and editing within traffic scenes.


翻译:随着智能交通系统的快速发展,文本驱动的图像生成与编辑技术在为交通监控和自动驾驶等应用提供丰富、可控的视觉场景数据方面展现出巨大潜力。然而,现有方法仍面临诸多挑战,包括生成的交通元素语义丰富度不足、相机视角受限、合成图像视觉保真度低,以及文本描述与生成内容之间的对齐性差。为解决这些问题,我们提出了一种统一的文本驱动框架,同时支持图像生成与编辑,通过引入可控掩码机制将两项任务无缝集成。此外,我们融合了车端与路端的多视角数据,以增强交通场景的几何多样性。我们的训练策略采用两阶段范式:首先,利用大规模粗粒度文本-图像数据进行概念学习;随后,使用细粒度描述数据进行微调,以提升文本-图像对齐与细节质量。此外,我们提出了一种掩码区域加权损失函数,在训练过程中动态强调小而关键的区域,从而显著提升小尺度交通元素的生成保真度。大量实验表明,我们的方法在交通场景的文本驱动图像生成与编辑任务中取得了领先性能。

0
下载
关闭预览

相关内容

专知会员服务
22+阅读 · 2021年8月20日
Python图像处理,366页pdf,Image Operators Image Processing in Python
Polygon-RNN++图像分割数据集自动标注
论智
10+阅读 · 2018年8月16日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
VIP会员
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
16+阅读 · 2013年12月31日
Top
微信扫码咨询专知VIP会员