MIT开发新​算法,帮助人工智能系统躲避“对抗性”输入

   通信小金        

在一个完美的世界里,所见即所得。如果是这样,人工智能系统的工作就会变得清爽直接。


MIT开发新​算法,帮助人工智能系统躲避“对抗性”输入


以自动驾驶汽车的防撞系统为例。如果可以完全信任车载摄像头的视觉输入,人工智能系统就可以直接将输入映射到适当的动作:向右转、向左转或继续直行,以避免撞上其摄像头在路上看到的行人。


但如果摄像头出现了一个小故障,使图像稍微偏移了几个像素呢?如果汽车盲目地相信所谓的 "对抗性输入",它可能会采取不必要的、有潜在危险的行动。


麻省理工学院的研究人员开发了一种新的深度学习算法,旨在帮助机器在真实的、不完美的世界中导航,通过对它们收到的测量和输入建立健康的 "怀疑论"。


该团队将强化学习算法与深度神经网络相结合,两者分别用于训练计算机玩围棋和国际象棋等视频游戏,建立了一种他们称之为CARRL的方法,即深度强化学习的认证对抗性鲁棒性。


研究人员在几个场景中测试了该方法,包括模拟避免碰撞测试和视频游戏Pong,并发现CARRL的表现更好--避免碰撞和赢得更多的Pong游戏--超过了标准的机器学习技术,即使面对不确定的对抗性输入。


"你经常认为对手是黑你电脑的人,但也可能只是你的传感器不是很好,或者你的测量不是很完美,这往往是一种情况,"麻省理工学院航空航天系(AeroAstro)的博士后Michael Everett说。"我们的方法有助于说明这种不完美,并做出安全的决定。在任何安全关键领域,这是一个重要的方法,值得思考。"


Everett是一项概述新方法的研究的主要作者,该研究出现在IEEE的《神经网络和学习系统交易》上。该研究源于麻省理工学院博士生Björn Lütjens的硕士论文,并由麻省理工学院AeroAstro教授Jonathan How提供建议。


可能的现实情况


为了使人工智能系统对对抗性输入具有鲁棒性,研究人员已经尝试实现监督学习的防御措施。传统上,神经网络被训练成将特定的标签或动作与给定的输入相关联。例如,一个神经网络被喂养了数千张标记为猫的图像,以及标记为房子和热狗的图像,应该正确地将一张新图像标记为猫。


在健壮的人工智能系统中,同样的监督学习技术可以用许多稍微改变的图像版本进行测试。如果网络在每张图片上都有相同的标签--猫,那么不管是否有改动,图片都有很大的可能是一只猫,而且网络对任何对抗性影响都是稳健的。


但是,跑遍每一个可能的图像改变是耗费计算力的,很难成功应用于时间敏感的任务,比如避免碰撞。此外,现有的方法也不能确定使用什么标签,或者采取什么行动,如果网络的鲁棒性较差,将一些被改变的猫咪图像标记为房子或热狗。


"为了在安全关键场景中使用神经网络,我们必须找出如何基于最坏情况的假设对这些可能的现实情况进行实时决策,"Lütjens说。


最好的奖励


该团队则希望建立在强化学习的基础上,强化学习是机器学习的另一种形式,它不需要将标记的输入与输出联系起来,而是旨在根据由此产生的奖励来强化某些行动,以响应某些输入。这种方法通常用于训练计算机下棋和赢棋,如国际象棋和围棋。


强化学习大多被应用于假设输入为真的情况。Everett和他的同事说,他们是第一个在强化学习中为不确定的、对抗性的输入带来 "可证明的鲁棒性 "的人。


他们的方法CARRL使用现有的深度强化学习算法来训练一个深度Q网络,或DQN--一个具有多层的神经网络,最终将一个输入与Q值或奖励水平联系起来。


该方法采用了一个输入,例如一个带有单个点的图像,并考虑了一个对抗性影响,或者是点周围的一个区域,它实际上可能是代替。在这个区域内,点的每一个可能的位置都会通过DQN进行反馈,以找到一个相关的行动,这将导致最优化的最坏情况下的奖励,这是基于最近的麻省理工学院研究生Tsui-Wei "Lily" Weng博士'20所开发的技术。


一个对抗性的世界


在视频游戏Pong的测试中,两名玩家操作屏幕两边的桨来回传球,研究人员引入了一个 "对手",将球拉得比实际稍远。他们发现,随着对手的影响越来越大,CARRL比标准技术赢得了更多的比赛。


"如果我们知道一个测量不应该完全信任,球可能在某个区域内的任何地方,那么我们的方法告诉计算机,它应该把球拍放在这个区域的中间,以确保我们即使在最坏的偏差中也能击中球,"Everett说。


该方法在避免碰撞的测试中也同样稳健,团队模拟了一个蓝色和一个橙色代理试图在不碰撞的情况下切换位置。当团队扰乱橙色代理人对蓝色代理人位置的观察时,CARRL引导橙色代理人绕过另一个代理人,随着对手越来越强大,蓝色代理人的位置变得更加不确定,橙色代理人采取了更宽的泊位。


确实有一点,当CARRL变得过于保守时,导致橙色代理认为其他代理可能在其附近的任何地方,并作为回应完全避开其目的地。埃弗雷特说,这种极端的保守是有用的,因为研究人员可以将其作为一个限制来调整算法的鲁棒性。例如,算法可能会考虑一个较小的偏差,或不确定性区域,这仍将允许代理实现高回报并到达目的地。


除了克服不完美的传感器之外,Everett表示,CARRL可能是帮助机器人安全处理现实世界中不可预测的互动的一个开始。


"人可以是对抗性的,比如在机器人面前挡住它的传感器,或者与他们互动,不一定是出于最好的意图,"Everett说。"机器人如何能想到人们可能会做的所有事情,并试图避免它们?我们想要抵御什么样的对抗模式?这是我们正在思考如何做的事情。"

最新评论(0)条评论
不吐不快,我来说两句

还没有人评论哦,抢沙发吧~

相关新闻推荐