​研究人员创造出了一种新工具来提高机器行为的透明度和理解能力

   通信小金        


解释、解释和理解人类的思维带来了一系列独特的挑战。与此同时,对机器的行为进行同样的研究则是另一回事。


​研究人员创造出了一种新工具来提高机器行为的透明度和理解能力


随着人工智能(AI)模型越来越多地用于复杂的情况——批准或拒绝贷款,帮助医生进行医疗诊断,协助司机上路,甚至完全控制——人类仍然缺乏对自己的能力和行为的整体理解。


现有的研究主要集中在基础问题上:这个模型有多准确?通常,过分强调“简单准确”的概念会导致危险的疏忽。如果模型在非常有信心的情况下出错怎么办?如果模型遇到了以前没见过的东西,比如自动驾驶汽车看到了一种新型交通标志,它会如何表现?


为了寻求更好的人机交互,麻省理工学院计算机科学与人工智能实验室(CSAIL)的一组研究人员创造了一种名为Bayes-TrEx的新工具,它可以让开发者和用户获得他们的人工智能模型的透明度。具体来说,它是通过寻找导致特定行为的具体例子来实现的。该方法利用“贝叶斯后验推理”,一种广泛使用的数学框架来推理模型的不确定性。


在实验中,研究人员将Bayes-TrEx应用于几个基于图像的数据集,并发现了以前只关注预测准确性的标准评估所忽视的新见解。


“这样的分析对于验证模型在所有情况下都正确运作是很重要的,”麻省理工学院CSAIL博士研究生周宜伦说,他是贝叶斯- trex项目的联合首席研究员。“一个特别令人担忧的情况是,当模型犯错误时,但信心非常高。由于用户对报告的高度信任,这些错误可能在很长一段时间内都不会被发现,只有在造成大量损害后才会被发现。”


例如,在医疗诊断系统完成对一组x射线图像的学习后,医生可以使用Bayes-TrEx来找到模型以非常高的可信度进行错误分类的图像,以确保它不会遗漏任何特定的疾病变体。


贝叶斯- trex还可以帮助理解模型在新情况下的行为。以自动驾驶系统为例,它通常依靠摄像头图像来拍摄红绿灯、自行车道和障碍物。这些常见的情况可以很容易地被相机准确地识别出来,但更复杂的情况会提供字面上和隐喻上的障碍。一辆活泼的赛格威可能被解读为大如汽车,小如路上的颠簸,导致棘手的转弯或代价高昂的碰撞。Bayes-TrEx可以帮助开发者提前处理这些新情况,并在潜在悲剧发生之前纠正任何不良结果。


除了图像,研究人员还在研究一个不那么静态的领域:机器人。他们的工具名为“RoCUS”,灵感来自Bayes-TrEx,使用额外的适应性来分析机器人特有的行为。


尽管仍处于测试阶段,但RoCUS的实验表明,如果只关注任务完成情况,就很容易错过新的发现。例如,一个使用深度学习方法的2D导航机器人,由于训练数据的收集方式,更倾向于紧紧围绕障碍物导航。然而,如果机器人的障碍物传感器不完全准确的话,这样的偏好可能是有风险的。对于一个到达桌子上目标的机器人手臂,机器人运动结构的不对称性对其到达左边目标的能力比到达右边目标的能力有更大的影响。


“我们希望通过让人类对人工智能合作伙伴有更多的了解,让人与人工智能的互动变得更安全,”麻省理工学院CSAIL博士生塞雷娜·布斯(Serena Booth)说。“人类应该能够理解这些代理如何做出决定,预测它们在世界上将如何行动,最重要的是——预测和规避失败。”

最新评论(0)条评论
不吐不快,我来说两句

还没有人评论哦,抢沙发吧~

相关新闻推荐