研究背景

可信媒体计算具有广泛的技术内涵，包括用以维护国家、经济、社会安全的人工智能算法和模型，以及保障这些算法自身可信的技术，在国防、经济领域具有重要战略价值。2017年，苹果公司发布会因人脸识别的“乌龙”事件，市值蒸发216亿美元。2018年，Facebook公司因用户安全隐私问题，一周市值蒸发580亿美元。2019年华为莫斯科研究院成功利用贴纸等物理攻击方式，欺骗和瘫痪主流人脸识别系统。目前，伪造人脸盗刷资金案例屡见不鲜，微信、支付宝均无法幸免。面对严峻的可信人工智能分析与应用问题，2016美国国防高级研究项目局（DARPA）将对抗攻击作为国家安全战略立项，使得世界各国对高度关注神经网络的安全问题。美国多所高校与美国国防高级研究项目局签订了战略合作协议。而我国目前还没有系统性的战略研究部署。我国面对严峻的可信人工智能发展形势，根据2017年国务院《新一代人工智能发展规划》的三步走战略目标，提出到2025年，初步建立人工智能法律法规、伦理规范和政策体系，形成人工智能安全评估和管控能力，建立人工智能安全监管和评估体系，加强人工智能对国家安全和保密领域影响的研究与评估，完善人、技、物、管等配套安全防护体系，构建人工智能安全监测预警机制。近期重点关注对就业的影响，远期重点考虑对社会伦理的影响，确保把人工智能发展规制在安全可控范围内。规划还提出加强人工智能网络安全技术研发，强化人工智能产品和系统网络安全防护。构建动态的人工智能研发应用评估评价机制，围绕人工智能设计、产品和系统的复杂性、风险性、不确定性、可解释性、潜在经济影响等问题，开发系统性的测试方法和指标体系，建设跨领域的人工智能测试平台，推动人工智能安全认证，评估人工智能产品和系统的关键性能。人工智能安全问题已经上升到我国国家战略，具有广阔的市场前景。

研究内容

针对人工智能算法与模型可信性的对抗性攻防问题，学术界提出了许多对抗攻击和防御算法，但是对抗样本的因果关系仍不清楚，并且在效果和效率上很难达到平衡。针对上述瓶颈，拟从以下三个方面开展研究：

基于深度模型认知和统计特性的对抗攻击：传统基于特定单一深度模型的对抗和欺骗方法难以应对各式各样的模型及模型的更新升级，拟研究基于有限先验知识限制的深度模型对抗和欺骗技术。对于可以获取需攻击模型内部参数的场景，使用白盒模块在两种不确定性指导的基础上得到最大化破坏扰动；对于只能获取需攻击模型输出的场景，使用黑盒模块做降维与采样指导，高效获取扰动参数。

基于深度神经网络的可解释防御：启发式防御无法防御自适应白盒攻击，拟进一步研究对抗性训练方法，该技术路线目前表现出最好的性能，但计算成本很高，且相关研究仅对对抗攻防应用提供理论基础，尚缺乏实际场景中的实战应用。拟以人脸图像对抗攻防为目标任务，研究可解释、强鲁棒的综合防御框架，实现在一定程度下针对多种攻击手段的有效防御；

迭代进化的高效可信媒体计算框架：引入任务驱动的思路，在平衡好该防御技术的稳健性和高效率之间的关系的基础上，展开对相关算法的可扩展性研究，设计更有效、更强大的攻击手段来模拟现实场景下会出现的复杂情况，从而使研发的防御技术可以高效的应对多种攻击手段，迭代提升模型和算法的可信性。