![]()
©PaperWeekly 原创 · 作者 | 孙裕道
单位 | 北京邮电大学博士生
研究方向 | GAN图像生成、情绪对抗样本生成
![]()
对抗样本是深度学习模型的主要威胁之一，对抗样本会使得目标分类器模型分类出错并且它存在于稠密的对抗子空间中，对抗子空间又包含于特定的样本空间中。本文主要是对对抗子空间维数进行探讨，即针对于单个模型的特定样本对抗子空间的维度是多少，针对多个模型的特定样本对抗子空间的维度是多少。
![]()
给定干净样本
，以及其对应的标签
，带有参数
的神经网络分类器为
，损失函数为
，对抗样本为
，则根据多元泰勒展开式可得：
![]()
![]()
其中
表示的是对抗扰动的大小。由上公式可知，干净样本
沿着梯度方向
可以进入到对抗子空间中。进一步详细的阐述如下图所示，其中图 （a），（b）和（c）表示的是给定一个干净样本沿着不同的方向生成的样本输入到分类器分类的结果示意图，每个方格表示每一个样本的分类结果，方格中白色表示分类器分类正确，彩色表示分类器分类成其它不同的类别。图（d），（e）和 （f）表示样本移动的方向分解示意图。
![]()
由上图（d）可知，如果选择两个正交方向，一个是对抗扰动的梯度方向，另一个是随机扰动方向，从图（a）可知，沿着对抗扰动方向的干净样本可以进入到对抗子空间中，沿着随机扰动的方向则没有生成对抗样本。由上图（e）可知，如果这两个正交方向与梯度方向成一个角度，则从图（b）可知这两个正交方向都可以进入到对抗子空间中，但是却不是最速方向。由上图（f）可知，如果这两个正交方向是都是随机扰动，从图（c）可知，干净样本都很难进入到对抗子空间中去，该图出现误分类的情况与对抗样本无关，跟模型自身的训练情况有关。
![]()
由上一节对对抗样本损失函数的多元泰勒展开可以近似有：
![]()
其中令
，
。目的是要探究给定一个模型，求解对抗扰动
使得模型损失函数至少增长
得对抗子空间维度的问题，数学表述为：
![]()
其中
，即扰动
属于
这
个正交向量组成的对抗子空间中，
就是对抗子空间的维度。此时有如下定理成立，详细证明过程如下所示：
定理1：给定
和
，最大对抗子空间维数
的正交向量
满足
，
的充要条件是
。
证明：
必要性证明： 已知
和
，令
，并且
是正交的，由此可知
。
![]()
其中，
表示的是向量
和
的余弦值，并且又知道
，所以有：
进而则有：
![]()
![]()
![]()
![]()
![]()
![]()
![]()
![]()
充分性证明：
已知
，令
表示的是
的基向量，
为旋转矩阵并且有
。
![]()
令向量
，并且
，其中
是矩阵
的第
列，
是正交矩阵，进而可知：
![]()
证毕！
通过以上的证明可以得到一个非常严谨漂亮的结论，即对抗子空间的维度
大小与损失函数增长程度
的平方成反比，这也是很符合直观理解。增长程度越大，对抗子空间就越往梯度方向坍缩，因为梯度方向是最速方向。
![]()
在黑盒模型中，经常会利用到对抗样本的可迁移性进行攻击，即利用模型
生成的对抗样本
，迁移未知分类模型
中进行攻击，其主要原因在于针对两个不同的模型有重叠的对抗子空间，所以才会使得对抗样本有攻击的可迁移性。
假定
表示的是样本
针对模型
的使得其损失函数增长
的对抗扰动；
表示的是样本
针对模型
的使得其损失函数增长
的对抗扰动。其中
，即扰动
属于
这
个正交向量组成的对抗子空间中。其中
，即扰动
属于
这
个正交向量组成的对抗子空间中；则此时针对多个模型对抗子空间维度的大小为：
同理根据以上推导思路可以求出 3 个模型以上重叠的对抗子空间的维度。
感谢 TCCI 天桥脑科学研究院对于 PaperWeekly 的支持。TCCI 关注大脑探知、大脑功能和大脑健康。
![]()
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
![]()
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧
![]()
微信扫码咨询专知VIP会员