Multiplexed tissue imaging measures dozens of protein markers per cell, yet most deep learning models still apply early channel fusion, assuming shared structure across markers. We investigate whether preserving marker independence, combined with deliberately shallow architectures, provides a more suitable inductive bias for self-supervised representation learning in multiplex data than increasing model scale. Using a Hodgkin lymphoma CODEX dataset with 145,000 cells and 49 markers, we compare standard early-fusion CNNs with channel-separated architectures, including a marker-aware baseline and our novel shallow Channel-Independent Model (CIM-S) with 5.5K parameters. After contrastive pretraining and linear evaluation, early-fusion models show limited ability to retain marker-specific information and struggle particularly with rare-cell discrimination. Channel-independent architectures, and CIM-S in particular, achieve substantially stronger representations despite their compact size. These findings are consistent across multiple self-supervised frameworks, remain stable across augmentation settings, and are reproducible across both the 49-marker and reduced 18-marker settings. These results show that lightweight, channel-independent architectures can match or surpass deep early-fusion CNNs and foundation models for multiplex representation learning. Code is available at https://github.com/SimonBon/CIM-S.


翻译:多重组织成像技术可测量每个细胞中数十种蛋白质标记物,然而大多数深度学习模型仍采用早期通道融合方法,假设标记物间存在共享结构。本研究探讨了在多重数据中进行自监督表示学习时,保持标记物独立性并结合刻意设计的浅层架构,是否比扩大模型规模能提供更合适的归纳偏置。利用包含145,000个细胞和49种标记物的霍奇金淋巴瘤CODEX数据集,我们比较了标准早期融合CNN与通道分离架构,包括标记物感知基线模型和我们提出的仅含5.5K参数的新型浅层通道独立模型(CIM-S)。经过对比预训练和线性评估,早期融合模型在保留标记物特异性信息方面能力有限,尤其在稀有细胞鉴别任务中表现欠佳。通道独立架构(特别是CIM-S)尽管结构紧凑,却能获得显著更强的表示能力。这些发现在多种自监督框架中保持一致,在不同数据增强设置下保持稳定,并在完整49标记物和缩减18标记物设置中均可复现。结果表明,轻量级通道独立架构在多重表示学习任务中能够匹配甚至超越深度早期融合CNN及基础模型。代码发布于https://github.com/SimonBon/CIM-S。

0
下载
关闭预览

相关内容

【ICML2023】SEGA:结构熵引导的图对比学习锚视图
专知会员服务
22+阅读 · 2023年5月10日
AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
【CVPR 2020 Oral】小样本类增量学习
专知
20+阅读 · 2020年6月26日
【NeurIPS2019】图变换网络:Graph Transformer Network
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
1+阅读 · 2016年12月31日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员