对抗样本

在成员推理攻击中,攻击者训练一个二分类器,该分类器将目标分类器预测的数据样本的置信度分数向量作为输入,预测该数据样本是目标分类器训练数据集的成员数据还是非成员数据。
在图像领域的对抗样本的例子大家已经很熟悉了,比如下图的例子,对熊猫进行对抗扰动,模型就会将其识别为长臂猿。
本文试图对CV领域的对抗攻击技术做一个全面的介绍,首先会介绍重要的背景知识,包括距离度量、攻击者假设(攻击者知识、能力等)、对抗样本存在的本质原因以及对抗样本迁移性相关背景。
对抗攻击从2013年被Szegedy等人提出之后,截止目前,已经被研究的很深入了,相关文章也呈爆炸增长。
对抗样本大家都耳熟能详了,但是大家可能觉得离自己比较远,毕竟主要是学术界在做这方面的工作,可能还需要很多数学理论基础,所以没有尝试动手实践过。