Respiratory diseases remain major global health challenges, and traditional auscultation is often limited by subjectivity, environmental noise, and inter-clinician variability. This study presents an explainable multimodal deep learning framework for automatic lung-disease detection using respiratory audio signals. The proposed system integrates two complementary representations: a spectral-temporal encoder based on a CNN-BiLSTM Attention architecture, and a handcrafted acoustic-feature encoder capturing physiologically meaningful descriptors such as MFCCs, spectral centroid, spectral bandwidth, and zero-crossing rate. These branches are combined through late-stage fusion to leverage both data-driven learning and domain-informed acoustic cues. The model is trained and evaluated on the Asthma Detection Dataset Version 2 using rigorous preprocessing, including resampling, normalization, noise filtering, data augmentation, and patient-level stratified partitioning. The study achieved strong generalization with 91.21% accuracy, 0.899 macro F1-score, and 0.9866 macro ROC-AUC, outperforming all ablated variants. An ablation study confirms the importance of temporal modeling, attention mechanisms, and multimodal fusion. The framework incorporates Grad-CAM, Integrated Gradients, and SHAP, generating interpretable spectral, temporal, and feature-level explanations aligned with known acoustic biomarkers to build clinical transparency. The findings demonstrate the framework's potential for telemedicine, point-of-care diagnostics, and real-world respiratory screening.


翻译:呼吸系统疾病仍是全球重大健康挑战,传统听诊方法常受限于主观性、环境噪声及临床医师间差异。本研究提出一种基于呼吸音频信号的可解释多模态深度学习框架,用于肺部疾病自动检测。该系统整合了两种互补表征:基于CNN-BiLSTM Attention架构的谱时编码器,以及捕获MFCCs、谱质心、谱带宽和过零率等具有生理意义描述符的手工声学特征编码器。通过后期融合策略结合这两个分支,以充分利用数据驱动学习与领域知识引导的声学线索。研究采用严格预处理流程(包括重采样、归一化、噪声滤波、数据增强及患者级分层划分)在Asthma Detection Dataset Version 2数据集上进行训练与评估,实现了91.21%准确率、0.899宏平均F1分数和0.9866宏平均ROC-AUC的强泛化性能,优于所有消融变体。消融实验证实了时序建模、注意力机制与多模态融合的重要性。该框架集成Grad-CAM、Integrated Gradients和SHAP方法,生成与已知声学生物标志物一致的可解释谱图、时序及特征级分析,增强临床透明度。研究结果证明了该框架在远程医疗、床旁诊断及现实世界呼吸筛查中的应用潜力。

0
下载
关闭预览

相关内容

AAAI 2022 | ProtGNN:自解释图神经网络
专知
10+阅读 · 2022年2月28日
论文浅尝 | GEOM-GCN: Geometric Graph Convolutional Networks
开放知识图谱
14+阅读 · 2020年4月8日
读论文Discriminative Deep Metric Learning for Face and KV
统计学习与视觉计算组
12+阅读 · 2018年4月6日
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
VIP会员
相关资讯
相关基金
国家自然科学基金
4+阅读 · 2015年12月31日
国家自然科学基金
46+阅读 · 2015年12月31日
国家自然科学基金
2+阅读 · 2015年12月31日
国家自然科学基金
1+阅读 · 2015年12月31日
国家自然科学基金
17+阅读 · 2008年12月31日
Top
微信扫码咨询专知VIP会员