建议使用以下浏览器,以获得最佳体验。 IE 9.0+以上版本 Chrome 31+ 谷歌浏览器 Firefox 30+ 火狐浏览器
温馨提示

抱歉,您需设置社区昵称后才能参与社区互动!

前往修改
我再想想

华为云大赛技术圈

话题 : 467 成员 : 405

加入HCSD

CVPR 2021 | 破坏方法失效,新框架MagDR让Deepfake稳定难攻

小云对小云 2021/4/2 503
近年来,“AI 变脸”特效风靡全球,近期爆红的 “蚂蚁呀嘿” 再次掀起体验和讨论的热潮,这种源自人工智能生成对抗网络(GAN)的新技术,能够利用深度学习技术识别并替换图片或视频中的原始人像,不仅制作过程简单,而且逼真度惊人,几乎能达到以假乱真的效果。


Deepfake 作为一项技术工具,有广泛的应用空间。语音合成能让计算机用人类的声音说出上百种语言,视频合成能让《速度与激情》里的 Paul Walker 复生,但若被滥用,也将带来巨大的风险,给身份识别和社会信任带来挑战,虚假视觉信息的应用与传播还会给人们造成隐私安全等多方面的困扰。

为此,一些研究致力于防止滥用 Deepfake,有研究者通过在源数据中添加对抗性干扰来破坏 Deepfake 的可能性,但是这种方法尚未完全消除威胁。近日,一种 mask-guided 检测和重建方法 MagDR(Mask-guided Detection and Reconstruction)被提出,该方法能够让 Deepfake 免受对抗攻击,这为破环 Deepfake 带来了新的思考方向。同时,该方法也能用于提升 AI 图像处理的安全性。该论文已被 CVPR 2021 接收。

image.png

论文地址:https://arxiv.org/abs/2103.14211


MagDR 首先提出了一种检测模块,该模块定义了一些标准来判断 Deepfake 的输出是否异常,然后使用该模块指导一个可学习的重建过程。提取自适应 mask 是为了捕获局部面部区域的变化。在实验中,MagDR 保护了 Deepfake 的三项主要任务,并且学得的重建 pipeline 能够迁移到输入数据上。这表明 MagDR 在防御黑盒和白盒攻击方面都具有很好的性能。


方法

MagDR 框架代表 mask-guided 检测和重建。如图 2(a)所示,它包含两个主要组件,一个检测器和一个重建器,二者均由在自适应 mask 上计算出的一组预定义标准指导。总体思路是从输出图像中感知对抗性攻击的存在(通常会受到严重干扰),并执行可调算法将所有预定义标准转换为可接受的值,之后输出被认为已重构。在该设计框架下,可以自由更改每个模块的实现。

image.png

MagDR 二阶段框架的核心思想在于使用一些非监督性指标,对对抗样本在 Deepfake 中所生成的结果进行敏感性的评估,并且利用人脸属性区域作为辅助信息以及通过对最优的防御方法进行搜索组合的方式对图片进行检测和重建,以期望能够达到净化原图并保持 Deepfake 输出真实性的目的。


实验

该研究选取了 Deepfake 中较为重要的三个任务进行攻防实验,分别为换脸、人脸属性修改以及表情变换。给原图增加噪声后,所产生的对抗样本尽管对原图进行了修改,但修改的程度明显低于人眼可察觉的水平,而 Deepfake 模型产生的深度伪造视频却已经崩坏,无法以假乱真,其对 Deepfake 带来的影响是灾难性的。
 
但当改为通过 MagDR 框架进行处理时,情况发生了变化。该模型首先对视频中的对抗攻击扰动进行检测,提醒 Deepfake 的使用者,所用的图片或视频大概率是存在对抗攻击的,然后通过重建视频模型,能够有效地将攻击者注入的对抗扰动进行消除,从而实现了 Deepfake 模型相关系统的正常使用。

image.png

MagDR 框架不仅能够消除对抗扰动带来的破坏性影响,同时还保留了原图的各种像素细节,进而保证了重建后的 Deepfake 结果与原图结果一致。

 
这一发现表明,目前业界主流的主动性防御的方法(Deepfake 对抗扰动)不再可靠,为了避免社交网络上人脸照片被恶意使用,还需要找到更佳的 Deepfake 防御方案。


来源:https://www.jiqizhixin.com/articles/2021-04-01-6


回复 (0)

没有评论
上划加载中
标签
您还可以添加5个标签
  • 没有搜索到和“关键字”相关的标签
  • 云产品
  • 解决方案
  • 技术领域
  • 通用技术
  • 平台功能
取消

小云对小云

角色:成员

话题:94

发消息
发表于2021年04月02日 10:26:12 5030
直达本楼层的链接
楼主
正序浏览 只看该作者
[技术干货] CVPR 2021 | 破坏方法失效,新框架MagDR让Deepfake稳定难攻

近年来,“AI 变脸”特效风靡全球,近期爆红的 “蚂蚁呀嘿” 再次掀起体验和讨论的热潮,这种源自人工智能生成对抗网络(GAN)的新技术,能够利用深度学习技术识别并替换图片或视频中的原始人像,不仅制作过程简单,而且逼真度惊人,几乎能达到以假乱真的效果。


Deepfake 作为一项技术工具,有广泛的应用空间。语音合成能让计算机用人类的声音说出上百种语言,视频合成能让《速度与激情》里的 Paul Walker 复生,但若被滥用,也将带来巨大的风险,给身份识别和社会信任带来挑战,虚假视觉信息的应用与传播还会给人们造成隐私安全等多方面的困扰。

为此,一些研究致力于防止滥用 Deepfake,有研究者通过在源数据中添加对抗性干扰来破坏 Deepfake 的可能性,但是这种方法尚未完全消除威胁。近日,一种 mask-guided 检测和重建方法 MagDR(Mask-guided Detection and Reconstruction)被提出,该方法能够让 Deepfake 免受对抗攻击,这为破环 Deepfake 带来了新的思考方向。同时,该方法也能用于提升 AI 图像处理的安全性。该论文已被 CVPR 2021 接收。

image.png

论文地址:https://arxiv.org/abs/2103.14211


MagDR 首先提出了一种检测模块,该模块定义了一些标准来判断 Deepfake 的输出是否异常,然后使用该模块指导一个可学习的重建过程。提取自适应 mask 是为了捕获局部面部区域的变化。在实验中,MagDR 保护了 Deepfake 的三项主要任务,并且学得的重建 pipeline 能够迁移到输入数据上。这表明 MagDR 在防御黑盒和白盒攻击方面都具有很好的性能。


方法

MagDR 框架代表 mask-guided 检测和重建。如图 2(a)所示,它包含两个主要组件,一个检测器和一个重建器,二者均由在自适应 mask 上计算出的一组预定义标准指导。总体思路是从输出图像中感知对抗性攻击的存在(通常会受到严重干扰),并执行可调算法将所有预定义标准转换为可接受的值,之后输出被认为已重构。在该设计框架下,可以自由更改每个模块的实现。

image.png

MagDR 二阶段框架的核心思想在于使用一些非监督性指标,对对抗样本在 Deepfake 中所生成的结果进行敏感性的评估,并且利用人脸属性区域作为辅助信息以及通过对最优的防御方法进行搜索组合的方式对图片进行检测和重建,以期望能够达到净化原图并保持 Deepfake 输出真实性的目的。


实验

该研究选取了 Deepfake 中较为重要的三个任务进行攻防实验,分别为换脸、人脸属性修改以及表情变换。给原图增加噪声后,所产生的对抗样本尽管对原图进行了修改,但修改的程度明显低于人眼可察觉的水平,而 Deepfake 模型产生的深度伪造视频却已经崩坏,无法以假乱真,其对 Deepfake 带来的影响是灾难性的。
 
但当改为通过 MagDR 框架进行处理时,情况发生了变化。该模型首先对视频中的对抗攻击扰动进行检测,提醒 Deepfake 的使用者,所用的图片或视频大概率是存在对抗攻击的,然后通过重建视频模型,能够有效地将攻击者注入的对抗扰动进行消除,从而实现了 Deepfake 模型相关系统的正常使用。

image.png

MagDR 框架不仅能够消除对抗扰动带来的破坏性影响,同时还保留了原图的各种像素细节,进而保证了重建后的 Deepfake 结果与原图结果一致。

 
这一发现表明,目前业界主流的主动性防御的方法(Deepfake 对抗扰动)不再可靠,为了避免社交网络上人脸照片被恶意使用,还需要找到更佳的 Deepfake 防御方案。


来源:https://www.jiqizhixin.com/articles/2021-04-01-6


点赞 举报
分享

分享文章到朋友圈

分享文章到微博

游客

您需要登录后才可以回帖 登录 | 立即注册