Artificial intelligence (AI) is increasingly embedded in NHS workflows, but its probabilistic and adaptive behaviour conflicts with the deterministic assumptions underpinning existing clinical-safety standards. DCB0129 and DCB0160 provide strong governance for conventional software yet do not define how AI-specific transparency, interpretability, or model drift should be evidenced within Safety Cases, Hazard Logs, or post-market monitoring. This paper proposes an Explainability-Enabled Clinical Safety Framework (ECSF) that integrates explainability into the DCB0129/0160 lifecycle, enabling Clinical Safety Officers to use interpretability outputs as structured safety evidence without altering compliance pathways. A cross-regulatory synthesis mapped DCB clauses to principles from Good Machine Learning Practice, the NHS AI Assurance and T.E.S.T. frameworks, and the EU AI Act. The resulting matrix links regulatory clauses, principles, ECSF checkpoints, and suitable explainability outputs. ECSF introduces five checkpoints: global transparency for hazard identification, case-level interpretability for verification, clinician usability for evaluation, traceable decision pathways for risk control, and longitudinal interpretability monitoring for post-market surveillance. Techniques such as SHAP, LIME, Integrated Gradients, saliency mapping, and attention visualisation are mapped to corresponding DCB artefacts. ECSF reframes explainability as a core element of clinical-safety assurance, bridging deterministic risk governance with the probabilistic behaviour of AI and supporting alignment with GMLP, the EU AI Act, and NHS AI Assurance principles.


翻译:人工智能(AI)正日益融入英国国民医疗服务体系(NHS)的工作流程,但其概率性和自适应行为与现有临床安全标准所基于的确定性假设存在冲突。DCB0129和DCB0160为传统软件提供了强有力的治理框架,但未明确如何在安全案例、危害日志或上市后监测中证明AI特有的透明度、可解释性或模型漂移。本文提出了一种可解释性赋能临床安全框架(ECSF),将可解释性整合到DCB0129/0160生命周期中,使临床安全官员能够在不改变合规路径的情况下,将可解释性输出作为结构化安全证据使用。通过跨监管综合分析,将DCB条款与良好机器学习实践、NHS AI保证与T.E.S.T.框架以及欧盟《人工智能法案》的原则进行映射。生成的矩阵关联了监管条款、原则、ECSF检查点及适用的可解释性输出。ECSF引入了五个检查点:用于危害识别的全局透明度、用于验证的案例级可解释性、用于评估的临床医生可用性、用于风险控制的可追溯决策路径以及用于上市后监测的纵向可解释性监控。SHAP、LIME、积分梯度、显著性映射和注意力可视化等技术被映射到相应的DCB文档中。ECSF将可解释性重新定义为临床安全保证的核心要素,弥合了确定性风险治理与AI概率性行为之间的鸿沟,并支持与良好机器学习实践、欧盟《人工智能法案》及NHS AI保证原则保持一致。

0
下载
关闭预览

相关内容

人工智能杂志AI(Artificial Intelligence)是目前公认的发表该领域最新研究成果的主要国际论坛。该期刊欢迎有关AI广泛方面的论文,这些论文构成了整个领域的进步,也欢迎介绍人工智能应用的论文,但重点应该放在新的和新颖的人工智能方法如何提高应用领域的性能,而不是介绍传统人工智能方法的另一个应用。关于应用的论文应该描述一个原则性的解决方案,强调其新颖性,并对正在开发的人工智能技术进行深入的评估。 官网地址:http://dblp.uni-trier.de/db/journals/ai/
大型语言模型(LLMs)革新金融:应用与洞察概览
专知会员服务
39+阅读 · 2024年3月22日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员