RSAC 2020议题之机器学习在缺乏法律约束的情况下将成为严重攻击面

阅读量    50368 |

分享到: QQ空间 新浪微博 微信 QQ facebook twitter

 

毫无疑问,机器学习绝对是目前IT行业最热门的一个领域之一了,在机器学习方面,技术研究和网络犯罪活动都在全速发展,齐头并进,但是相关的法律政策却并没有跟上,这将导致一系列潜在的安全隐患出现。

现在,很多企业和组织都在迅速采用和部署各种机器学习系统,而网络犯罪分子也紧随其后,正在秘密计划如何去攻击和入侵这些系系统。这不得不让法律专家们担心,因为当前缺乏一些针对机器学习的法律,而这种现实状况将会为网络犯罪分子打开攻击机器学习系统的大门。

在本周举行的RSA 2020大会上,微软公司的法律顾问克里斯汀•古德温(Cristin Goodwin)表示,与机器学习相关的美国法院案件数量仅有52起,大多数都与技术专利、工作场所歧视,以及不公正地划分选区以使某政党获得优势有关。很少有法庭案件会涉及到针对机器学习系统的实际网络攻击,这表明在围绕这项技术的法律先例方面存在一定程度的缺失。

那么,为什么关于机器学习的法庭案例会这么少呢?专家认为,目前主要的网络安全法规中,比如说《计算机欺诈和滥用法》以及《电子通信隐私法》等等,这些法律法规文件中并没有具体说明如何去处理针对机器学习方面的攻击活动。这一现实情况让Goodwin感到十分担忧,因为如果没有足够的法律措施来阻止网络犯罪分子通过垃圾邮件攻击、版权和利窃取和直接性的网络攻击活动来对机器学习平台进行攻击的话,那么机器学习将面临非常严重的安全威胁。

对于那些依赖机器学习作为核心服务骨干技术的公司(例如车辆自动驾驶、企业安全和市场营销等领域)来说,当前的这种法律环境,很难讲是利大于弊,还是弊大于利。

Aspen研究所的Aspen技术政策中心主任Betsy Cooper表示:“我们现在急需一种新的政策机制来保护我们,我们需要在现有的系统中添加灵活性,当我们通过一项法律时,它必须要能够以一种新的方式来考虑到现有技术,并且能够适用于现有技术,我们需要以一种更具创造性的思考方式围绕着机器学习这个概念来重新思考和审视我们的法律法规及相关政策。”

 

机器学习攻击

在大会上,专家小组的成员们对目前三种主流的机器学习攻击技术进行了分析,而这些攻击策略目前都是我们还无法解决的。第一种就是绕过/躲避攻击,攻击者可以在实际的产品应用场景中执行这种攻击。比如说在这种攻击技术中,攻击者可以在上传前一张图片之前修改图片中的一些像素,这样一来,图像面部识别系统将不会对结果进行分类。目前,使用这项技术的主要是一些垃圾邮件发送者/攻击者,因为他们可以利用这种方式来对垃圾邮件的内容进行混淆处理并绕过安全防护系统的检测。

另一种人们的攻击方式是模型窃取攻击,这种攻击技术将允许攻击者查询目标的机器学习模型(例如谷歌的Google Translate)以推断其工作方式,并利用窃取到的这些信息来创建自己的模型。研究人员表示,这种攻击技术将帮助攻击者或者竞争对手更好地了解我们自己的机器学习模型,以方便他们对我们发动攻击。

投毒攻击则是另外一种常见的机器学习威胁,这种类型的攻击可以在利用机器学习模型的同时,训练它们识别某些类型的输入数据,并以输出数据作为响应。攻击者可以将错误的数据注入机器学习模型的训练池中,以使其学习不应该学的东西。这种类型的攻击可以打开机器学习系统的大门,并允许攻击者进行数据操作、逻辑损坏以及后门攻击等活动。

 

安全挑战

由于这里不存在什么特定的攻击策略,因此在研究由机器学习攻击引起的潜在法律行为时,我们会不可避免地遇到一些挑战。比如说,在处理针对机器学习的绕过攻击时,我们很难去让机器理解哪些针对图片的操作是恶意的,或者某种操作是否具有恶意性。

实际上,从一开始我们就已经很难去判断一张图片是否已经被篡改过了。Google Brain的研究专家尼古拉斯·卡里尼(Nicholas Carlini)认为:“从技术层面上讲,我们很难去发现有什么东西被修改过。而且很多论文曾讨论过机器学习受到干扰这方面的话题,以及如何检测一张图片是否被修改过。如果我们真的无法弄清楚我们的分析对象是否已被人动过手脚,那法律法规又能做什么呢?”

另一个问题就在于,我们如何去了解攻击者是否已经或者正在发动恶意攻击呢?比如说,在针对机器学习的模型窃取攻击中,攻击者可以通过查询机器学习模型来推断其工作机制,但是我们却没有一种规则集合能够区分一个人查询一个机器模型,仅仅只是为了查询,还是为了窃取模型并为下一步实施恶意攻击来作准备。

法律专家认为,潜在的法律法规政策需要考虑到这一点,并想办法处理这种恶意行为。我们需要清楚地识别这种行为背后的真正意图,并弄清楚这种行为是否是一种犯罪行为。Cooper表示,如果想要弄清楚这种行为背后的真正意图,可以通过识别攻击者的身份背景来实现,比如说查看实施绕过攻击的人是否有参与过恶意攻击活动的历史等等。

Goodwin表示,在考虑针对机器学习的攻击时,公司或组织需要以“类似于任何其他服务的方式”重新审视其机器学习模型的服务条款,以便更好地管理和控制安全风险。

 

我们该何去何从

在会议上的三人讨论小组一致认为,专注于潜在机器学习攻击的政策还有很长的路要走,随着过去几年里围绕着机器学习攻击的研究热潮突然涌现,政府现在仍面临着巨大的压力。
Cooper认为,国会目前的脚步非常缓慢,而且这种情况还会持续下去。监管沙箱需要继续存在下去,这种沙箱就跟金融科技领域常用的沙箱一样,政策的制定者在制定专注于技术的监管方面需要更加地灵活。
不管怎样,机器学习虽然已讨论多年,但在法律法规和监管措施方面,机器学习无异于一个“新生儿”,我们还需要付出很多努力才能知道如何设定法律基线,我们还有很多事情要做。

分享到: QQ空间 新浪微博 微信 QQ facebook twitter
|推荐阅读
|发表评论
|评论列表
加载更多