Large Multimodal Language Models (MLLMs) are emerging as one of the foundational tools in an expanding range of applications. Consequently, understanding training-data leakage in these systems is increasingly critical. Log-probability-based membership inference attacks (MIAs) have become a widely adopted approach for assessing data exposure in large language models (LLMs), yet their effect in MLLMs remains unclear. We present the first comprehensive evaluation of extending these text-based MIA methods to multimodal settings. Our experiments under vision-and-text (V+T) and text-only (T-only) conditions across the DeepSeek-VL and InternVL model families show that in in-distribution settings, logit-based MIAs perform comparably across configurations, with a slight V+T advantage. Conversely, in out-of-distribution settings, visual inputs act as regularizers, effectively masking membership signals.


翻译:大型多模态语言模型(MLLMs)正逐渐成为日益广泛的应用领域中的基础工具之一。因此,理解这些系统中的训练数据泄露问题变得愈发关键。基于对数概率的成员推断攻击(MIAs)已成为评估大型语言模型(LLMs)中数据暴露程度的广泛采用方法,但其在MLLMs中的效果尚不明确。我们首次全面评估了将这些基于文本的MIA方法扩展到多模态场景的效果。我们在DeepSeek-VL和InternVL模型系列上,通过视觉-文本(V+T)和纯文本(T-only)条件下的实验表明:在分布内设置中,基于逻辑值的MIAs在不同配置下表现相当,V+T条件略有优势;相反,在分布外设置中,视觉输入起到了正则化作用,有效掩盖了成员身份信号。

0
下载
关闭预览

相关内容

【WWW2024】博弈论式反事实解释图神经网络
专知会员服务
32+阅读 · 2024年2月17日
专知会员服务
41+阅读 · 2021年6月19日
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
VIP会员
相关基金
国家自然科学基金
17+阅读 · 2017年12月31日
国家自然科学基金
0+阅读 · 2015年12月31日
国家自然科学基金
0+阅读 · 2014年12月31日
国家自然科学基金
4+阅读 · 2014年12月31日
国家自然科学基金
10+阅读 · 2014年12月31日
Top
微信扫码咨询专知VIP会员