雷锋网 AI 建造者按：近日，微软探讨院与北京大学的探讨小组共同建议了一种全新的 AI 换脸框架 FaceShifter，以及一种检测伪造东说念主脸图像的步调 FaceX-Ray。前者不错极大提升换脸的高保真度巴黎世家 丝袜，此后者则用于检测出复杂伪造东说念主脸图像。

一个勤勉于于作秀，一个专注于打假；光是听起来，就不禁让东说念主联念念到「矛」与「盾」的故事。那到底哪个更胜一筹呢？VB 发布了的关系本色先容了这两个后果，雷锋网 AI 建造者将其整理及编译如下。

 

图片起头：360图片

东说念主脸时刻探讨布景

现在，最先进的机器学习算法不仅不错完成对处所或物体的图像改动与生成，以 Deepfake 为代表的 AI 换脸时刻甚而也曾不错达到以伪乱果然换脸效果；但由于换脸时刻的浪费可能会为社会带来一系列恶劣影响，探讨东说念主员也在阻抑探索该时刻的旨趣，并但愿简略措置这一费劲。

就在最近，这一时刻又有了新的推崇。微软探讨院和北京大学的探讨小组发表的两篇学术论文中，他们折柳建议了一种用于生成高保真和阻止感知的东说念主脸交换框架——FaceShifter，以及一种用于检测伪造东说念主脸图像的步调——FaceX-Ray。

与现存的步调比较，微软探讨的面目周折

图片起头：微软探讨院

据关系探讨东说念主员示意，与多个现行基线步调比较，这两种步调齐能在不燃烧性能的情况下获取更好的效果，而且它们所需的数据比曩昔的步调少得多。

无考试换脸——FaceShifter

从关系费力不错看到，FaceShifter 简略将指标图像中的东说念主替换为源图像中的另一个东说念主的同期，保留其头部姿势、面部感情、灯光、感情、强度、布景和其他属性特征。

天然像 Reflect 和 FaceSwap 这么的应用圭表宣称不错止境准确地作念到这少许，然则微软论文的合著者示意 FaceShifter 对姿态和视角的变化则明锐度更高。

 

取源图像中的脸来替换指标图像中的面，换脸放胆显露在右边

图片起头：FaceShifter论文（https://arxiv.org/pdf/1912.13457.pdf）

FaceShifter 通过使用生成性抗击收罗（GAN）来提升换脸的保真度，它主要由两部分架构构成。第一部分主要运用运用自合乎注见解非正规化（AAD）层的重生成器整合东说念主脸合成图片的特征和属性，该层不错自合乎地学习整合面辖下性的位置；第二部分则要点措置面部阻止问题，这部分则包括了一个新的启发式不实阐发细化收罗（HEAR-Net），可运用重建图像与其输入之间的各别来识别阻止。

 

更多来自 FaceShifter 的样本

图片起头：微软探讨院

探讨小组称，「该框架在生成淘气真确图像相对的换脸图像时，无需特定的考试，齐显流露了优厚的性能。多量实验标明，该框架显着优于曩昔的东说念主脸交换步调。」

不错看到，在一项定性测试中，FaceShifter 保留了东说念主脸形态，并自动合乎换脸图像的后光和图像分辨率。此外，即使是从互联网上持取的「狂野神情」，该框架也简略在不依赖东说念主工扫视数据的情况下规复很是区域——包括眼镜、暗影和反射效果，以偏执它不常见的阻止。

灰度打假 FaceX-Ray

而与 FaceShifter 比较，FaceX-Ray 则碰巧是伪造头像的克星。正如探讨东说念主员在相应的论文中所指出的那样，咱们确乎需要这么的器具来防护伪造图像被浪费的情况。

2019 年 6 月曾有份敷陈显露，又名间谍运用东说念主工智能生成的个东说念主费力图片愚弄 LinkedIn 中的考虑东说念主；而就在客岁 12 月，Facebook 发现数百个账户上头齐有使用东说念主工智能合成的假面像来看成个东说念主费力相片。

 

各式面部操作步调的视觉放胆，包括自监督生成的搀和图像

图片起头：Face X-Ray论文（https://arxiv.org/pdf/1912.13458.pdf）

谈回 Face X-Ray 检测时刻，它与现存步调不同，它不需要事前知说念操作步调或东说念主工监督；相悖的是它会生成灰度图像，显露给定的输入图像是否不错剖判为来自不同起头的两个图像的搀和。

探讨东说念主员示意这一念念法是可行的，因为大多数操作换脸的步调，齐会有「将已改动的面部搀和到现存布景图像中」这一要领。但每幅图像齐有我方特有的记号，这些记号是从硬件（如传感器和镜头）或软件组件（如压缩和合成算法）引入的，况且这些记号频频在扫数这个词图像中也以访佛的款式呈现。

 

生成考试样本概述

图片起头：Face X-Ray论文

因此，Face X-Ray 不需要依赖于与特定东说念主脸操作时刻关系联的伪影学问，况且扶持它的算法不错在不使用任何步调生成假图像的情况下进行考试。

在一系列实验中，探讨东说念主员在 FaceForensics++（一个包含 1000 多个用四种最先进的东说念主脸置换步调生成的原始裁剪的大型视频语料库），以及另一个包含由真确图像构建的搀和图像的考试数据集上考试了 Face X-Ray。

他们评估了 FaceX-Ray 使用四个数据集进行详细的智商，其中包括：

上述 FaceForensics++语料库的一个子集；

谷歌发布的数千个 deepfake 影视蚁合，deepfake 检测挑战赛的图像；

Celeb DF，一个包含 408 个数据集真确视频的语料库和 795 个减少了视觉伪影的合成视频。

放胆标明，Face X-Ray 能有用地识别出未被发现的伪造图像，并能可靠地瞻望交融区域。探讨东说念主员指出，该步调依赖于搀和要领的存在，因此它可能不适用于全合成图像，况且它不错无法到手检测出抗击性样本的真伪。但撇开这少许，这也算是朝通用化面部伪造图像检测器具迈出的有但愿的一步。

原文地址：

https://venturebeat.com/2020/01/06/microsoft-researchers-propose-face-swapping-ai-and-face-forgery-detector/ 

FaceShifter 论文地址：

https://arxiv.org/pdf/1912.13457.pdf 

FaceX-Ray 论文地址：

https://arxiv.org/pdf/1912.13458.pdf 

雷锋网 AI 建造者

三上悠亚在线

雷峰网原创著述，未经授权辞谢转载。笃定见转载应知。

• 巴黎世家 丝袜
• 微软
• 演义
• 本质
• 雷峰