Fluorescence lifetime imaging microscopy (FLIM) is a powerful quantitative technique that provides metabolic and molecular contrast, offering strong translational potential for label-free, real-time diagnostics. However, its clinical adoption remains limited by long pixel dwell times and low signal-to-noise ratio (SNR), which impose a stricter resolution-speed trade-off than conventional optical imaging approaches. Here, we introduce FLIM_PSR_k, a deep learning-based multi-channel pixel super-resolution (PSR) framework that reconstructs high-resolution FLIM images from data acquired with up to a 5-fold increased pixel size. The model is trained using the conditional generative adversarial network (cGAN) framework, which, compared to diffusion model-based alternatives, delivers a more robust PSR reconstruction with substantially shorter inference times, a crucial advantage for practical deployment. FLIM_PSR_k not only enables faster image acquisition but can also alleviate SNR limitations in autofluorescence-based FLIM. Blind testing on held-out patient-derived tumor tissue samples demonstrates that FLIM_PSR_k reliably achieves a super-resolution factor of k = 5, resulting in a 25-fold increase in the space-bandwidth product of the output images and revealing fine architectural features lost in lower-resolution inputs, with statistically significant improvements across various image quality metrics. By increasing FLIM's effective spatial resolution, FLIM_PSR_k advances lifetime imaging toward faster, higher-resolution, and hardware-flexible implementations compatible with low-numerical-aperture and miniaturized platforms, better positioning FLIM for translational applications.


翻译:荧光寿命成像显微镜(FLIM)是一种强大的定量技术,可提供代谢与分子对比度,在无标记实时诊断方面展现出显著的转化潜力。然而,其临床应用仍受限于较长的像素驻留时间和较低的信噪比(SNR),这导致其在分辨率与速度的权衡上比传统光学成像方法更为严格。本文提出FLIM_PSR_k,一种基于深度学习的多通道像素超分辨率(PSR)框架,能够从像素尺寸扩大至5倍的采集数据中重建高分辨率FLIM图像。该模型采用条件生成对抗网络(cGAN)框架进行训练;与基于扩散模型的替代方案相比,cGAN能实现更稳健的PSR重建,且推理时间显著缩短,这对实际部署至关重要。FLIM_PSR_k不仅能够加速图像采集,还能缓解基于自发荧光的FLIM中的SNR限制。在预留的患者来源肿瘤组织样本上的盲测表明,FLIM_PSR_k可稳定实现k=5的超分辨率因子,使输出图像的空间带宽积提升25倍,并揭示低分辨率输入中丢失的细微结构特征,各项图像质量指标均呈现统计学显著改善。通过提升FLIM的有效空间分辨率,FLIM_PSR_k推动寿命成像向更快、更高分辨率且硬件灵活的方向发展,兼容低数值孔径和小型化平台,从而更好地促进FLIM在转化应用中的推广。

0
下载
关闭预览

相关内容

【NeurIPS 2024 Oral】用于多条件分子生成的图扩散Transformer
专知会员服务
16+阅读 · 2024年10月5日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员