The development of clinically reliable artificial intelligence (AI) systems for mammography is hindered by profound heterogeneity in data quality, metadata standards, and population distributions across public datasets. This heterogeneity introduces dataset-specific biases that severely compromise the generalizability of the model, a fundamental barrier to clinical deployment. We present MammoClean, a public framework for standardization and bias quantification in mammography datasets. MammoClean standardizes case selection, image processing (including laterality and intensity correction), and unifies metadata into a consistent multi-view structure. We provide a comprehensive review of breast anatomy, imaging characteristics, and public mammography datasets to systematically identify key sources of bias. Applying MammoClean to three heterogeneous datasets (CBIS-DDSM, TOMPEI-CMMD, VinDr-Mammo), we quantify substantial distributional shifts in breast density and abnormality prevalence. Critically, we demonstrate the direct impact of data corruption: AI models trained on corrupted datasets exhibit significant performance degradation compared to their curated counterparts. By using MammoClean to identify and mitigate bias sources, researchers can construct unified multi-dataset training corpora that enable development of robust models with superior cross-domain generalization. MammoClean provides an essential, reproducible pipeline for bias-aware AI development in mammography, facilitating fairer comparisons and advancing the creation of safe, effective systems that perform equitably across diverse patient populations and clinical settings. The open-source code is publicly available from: https://github.com/Minds-R-Lab/MammoClean.


翻译:乳腺X线摄影临床可靠人工智能(AI)系统的开发受到公共数据集间数据质量、元数据标准和人群分布深刻异质性的阻碍。这种异质性引入了数据集特定的偏差,严重损害了模型的泛化能力,这是临床部署的根本障碍。我们提出了MammoClean,一个用于乳腺X线摄影数据集标准化和偏差量化的公共框架。MammoClean标准化了病例选择、图像处理(包括侧向性和强度校正),并将元数据统一为一致的多视图结构。我们全面回顾了乳腺解剖结构、成像特征和公共乳腺X线摄影数据集,以系统性地识别偏差的关键来源。将MammoClean应用于三个异质数据集(CBIS-DDSM、TOMPEI-CMMD、VinDr-Mammo),我们量化了乳腺密度和异常患病率的显著分布偏移。关键的是,我们证明了数据损坏的直接影响:在损坏数据集上训练的AI模型与经过整理的数据集相比表现出显著的性能下降。通过使用MammoClean识别和缓解偏差源,研究人员可以构建统一的多数据集训练语料库,从而开发具有卓越跨域泛化能力的鲁棒模型。MammoClean为乳腺X线摄影中偏差感知的AI开发提供了一个必要且可复现的流程,促进了更公平的比较,并推动了在多样化患者群体和临床环境中公平、安全、有效系统的创建。开源代码公开可用:https://github.com/Minds-R-Lab/MammoClean。

0
下载
关闭预览

相关内容

【CVPR2024】ViewDiff: 3D一致的图像生成与文本到图像模型
专知会员服务
30+阅读 · 2024年3月10日
【NeurIPS2022】SparCL:边缘稀疏持续学习
专知会员服务
24+阅读 · 2022年9月22日
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
VIP会员
相关资讯
ICLR'21 | GNN联邦学习的新基准
图与推荐
12+阅读 · 2021年11月15日
图机器学习 2.2-2.4 Properties of Networks, Random Graph
图与推荐
10+阅读 · 2020年3月28日
【NeurIPS2019】图变换网络:Graph Transformer Network
Single-Shot Object Detection with Enriched Semantics
统计学习与视觉计算组
14+阅读 · 2018年8月29日
相关基金
国家自然科学基金
3+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
Top
微信扫码咨询专知VIP会员