人工智能安全

深度学习已经在许多领域得到了广泛的应用,如文本、图像、音频、视频等,相应领域的对抗攻击安全客上也有文章介绍过了,包括图像、视频、音频等。事实上,这类数据格式在形式上有着统一而规整的尺寸和维度,它们也被称作欧式结构(Euclidean Structure)。
后门攻击,一般指通过毒化训练集的方式在由该数据集训练出的模型上植入后门,关于后门攻击的文章,在安全客上也有很多了,大家可以去了解详情。
随着深度神经网络模型的性能增加,神经网络的深度越来越深,接踵而来的是深度网络模型的高存储高功耗的弊端,严重制约着深度神经网络在资源有限的应用环境和实时在线处理的应用。
对于一个完整的AI系统而言,最重要的两个组件就是数据和模型,做攻击是从这两门着手,所以我们在分析防御方案时,也分别从数据(样本)和模型两个角度进行研究。
联邦学习这几年比较火,它主要用于解决在不直接访问各种训练数据的情况下训练机器学习模型的问题,特别是对于数据隐私比较敏感的任务。
在成员推理攻击中,攻击者训练一个二分类器,该分类器将目标分类器预测的数据样本的置信度分数向量作为输入,预测该数据样本是目标分类器训练数据集的成员数据还是非成员数据。
在之前的文章中我们已经介绍过针对深度学习系统的攻击手段,比如对抗样本攻击、后门攻击、模型窃取等,对抗样本攻击、后门攻击的目的都是为了让模型将某一特定测试样本分类到攻击者指定的类别。
目前,图结构的数据被应用于各种安全敏感领域(例如恶意软件分析,内存取证,欺诈检测,药物发现等),而随着图神经网络的兴起,研究人员尝试将图神经网络应用于这类数据上实施分析,发现都能达到非常先进的水平。
我们知道深度学习模型容易受到对抗样本攻击,比如在计算机视觉领域,对图像精心设计的扰动可能会导致模型出错。虽然现在对抗样本的研究非常火,但是模型面临的攻击不止有对抗样本攻击。
对于我们比较了解的联邦学习而言,杨强教授有一句经典的话“数据不动模型动”,意思是说数据留在参与方本地,本地的数据不会泄露给其他参与方,参与方与中心服务器之间通过交互梯度信息进行协作训练。