腾讯发布业内首个AI安全攻击矩阵！可像查字典一样排查风险

近年来，人工智能迅猛发展，与家居、金融、交通、医疗等各个领域深度融合，让人们的生活更为便利。但与此同时，基于人工智能的系统一旦存在风险也将带来更为严重的后果。如何确保人工智能在不同的应用场景下不会被轻易控制、影响或欺骗，也成为从业者的重要研究课题。

9月25日，腾讯正式发布业内首个AI安全攻击矩阵。这是一份具有高实用性的AI安全技术指导框架，首次全面梳理了学术及工业界最前沿的AI安全研究，从攻击者的视角系统列举了AI技术研发部署各个环节中的攻击过程与技术实现手段，帮助AI从业者快速了解全生命周期下AI系统的风险点与对应缓解方法，为AI系统的安全部署和应用落地提供重要的技术参考。

目前，风险矩阵的完整版本可于腾讯AI Lab官网免费下载。

AI安全的威胁风险矩阵

据了解，该矩阵由腾讯两大实验室 腾讯AI lab 和 朱雀实验室 联合编纂，并借鉴了网络攻防领域中成熟度高、实战意义强的开源安全研究架ATT&CK，全面分析了攻击者视角下的战术、技术和流程，能够帮助防御者更精准地掌握安全响应方法与防御措施。相比从单一角度研究算法的安全问题，该矩阵具有更高的实用价值和参考意义。

该AI安全的威胁风险矩阵强调真实场景，并按照较成熟、研究中、潜在威胁三种成熟度直观地将攻击技术分类。据腾讯AI Lab介绍，矩阵编撰的核心难点在于如何选取和梳理AI系统安全问题的分析角度。作为一种与其他软硬件结合运作的应用程序，AI系统安全的分析切入角度与传统互联网产品并不完全一致。经过充分调研，团队最终选择从AI研发部署生命周期的角度切入，总结归纳出AI系统在不同阶段所面临的安全风险，从全局视角来审视AI的自身安全。

在这种实用思想的指导下，该矩阵能够像字典一样便捷使用。研究人员和开发人员根据AI部署运营的基本情况，就可对照风险矩阵排查可能存在的安全问题，并根据推荐的防御建议，降低已知的安全风险。

除了聚焦机器学习、计算机视觉、语音识别及自然语言处理等四大基础研究领域外，腾讯AI Lab也在持续关注AI领域的安全性研究，助力可信的AI系统设计与部署。腾讯朱雀实验室则专注于实战攻击技术研究和AI安全技术研究，以攻促防，守护腾讯业务及用户安全。此前朱雀实验室就曾模拟实战中的黑客攻击路径，直接控制AI模型的神经元，为模型“植入后门”，在几乎无感的情况下，实现完整的攻击验证，这也是业内首个利用AI模型文件直接产生后门效果的攻击研究。

腾讯云副总裁、腾讯安全平台部负责人杨勇表示，随着行业对AI应用的不断深入，在各个层面都会出现更具有实际攻击意义的方法和手段。腾讯将持续研究AI安全领域，并不定期更新风险矩阵，保持和业界最新成果的同步。

文章来源： 腾讯AI实验室