开源新数据集,助力 Deepfake 检测研究

点击上方“ 磐创AI ”,选择“置顶公众号”

精品文章,第一时间送达

作者: Nick Dufour,Google Research , 

Andrew Gully,Jigsaw

转载自: TensorFlow ,未经允许不得二次转载

深度学习的快速发展让一些在多年前看来完全不可能实现的技术变为可能。

当代的生成模型就是其中的一个例子,它能够合成极度逼真的图像、语音、音乐甚至视频。这些模型已广泛用于各种应用领域,如 通过文字转语音让世界变得更加无障碍 ,以及帮助 生成用于医学成像的训练数据

与任何革命性技术相同,深度学习也遇到新的挑战。

其中一种即所谓的 “Deepfake” — 通过那些可以操作视频和音频的对抗生成模型制作而成(简而言之通过人工智能达到换脸的效果)。

自 2017 年末该模型首次面世以来,已出现许多开源的 Deepfake 生成方法,合成的视频片段数量也随之激增。虽然其中许多视频片段的制作初衷是为了搞笑,但其中有些会对个人和社会造成危害。

Google 严肃对待这些问题。正如我们去年发布的 AI 原则 所述,我们致力于探索 AI 最佳实践,以减少潜在危害和滥用。去年 1 月,我们发布了 合成语音数据集 ,为高性能识别合成音频检测的 国际挑战赛 提供支持。超过 150 个研究机构和行业组织在参赛期间下载使用此数据集,此数据集现在已免费提供给公众使用。

近日,我们发布了一个由我们与 Jigsaw 共同制作的大型视觉 Deepfake 数据集。慕尼黑工业大学和那不勒斯腓特烈二世大学的 FaceForensics 视频基准 (FaceForensics benchmark)(由 Google 联合赞助)也被收录至此数据集中。数据收入 FaceForensics 视频基准的工作得到了业界领先研究人员的大力协助,包括 Matthias Niessner 教授Luisa Verdoliva 教授FaceForensics 团队 。您可从 FaceForensics Github 页面 ( https://github.com/ondyari/FaceForensics/)  下载这些数据。

FaceForensics benchmark 视频样本:随机筛选多对演员,使用深层神经网络将每一对演员的面容互换而生成的视频。

为制作这个数据集,在过去的一年中,我们与签订同意书的付费演员合作拍摄了数百个视频。根据这些视频及公开的 Deepfake 生成方法,我们创建出数千个 Deepfake 视频。无论是真实还是合成的,由此产生的视频都是我们的贡献,创建这些视频是为了直接支持 Deepfake 检测的研究工作。作为 FaceForensics 视频基准的一部分,这个数据集现在免费提供给研究社区使用,研究人员可用于开发合成视频的检测方法。

演员们在各种场景中拍摄。这里给出其中部分演员的真实视频(上方)与 Deepfake 视频(下方),两者之间的变化或小或大,具体取决于创建视频所用的另一演员。

这个领域的发展十分迅速,随着 Deepfake 技术的推进,我们会不断为这个数据集丰富数据,而且我们会继续与合作伙伴在此领域开展合作。

我们坚信,支持一个蓬勃发展的研究社区有助于减少因滥用合成视频技术而造成的潜在危害,在 FaceForensics 基准中发布我们的 Deepfake 数据集就是朝着这个方向迈出的重要一步。

致谢

特别感谢与我们一起参与此项目的所有团队成员和合作者:Daisy Stanton、Per Karlsson、Alexey Victor Vorobyov、Thomas Leung、Jeremiah “Spudde” Childs、Christoph Bregler、Andreas Roessler、Davide Cozzolino、Justus Thies、Luisa Verdoliva、Matthias Niessner,以及努力工作的演员和电影摄制组。这个数据集的诞生离不开他们的帮助。

如果您想详细了解 本文提及 的相关内容,请参阅以下文档。这些文档深入探讨了这篇文章中提及的许多主题:

  • 生成用于医学成像的训练数据

    (https://arxiv.org/abs/1809.07294)

  • AI 原则

    (https://www.blog.google/technology/ai/ai-principles/)

  • 合成语音数据集

    (https://www.blog.google/outreach-initiatives/google-news-initiative/advancing-research-fake-audio-detection/)

  • ASVspoof 国际挑战赛

    (https://www.asvspoof.org/)

  • Jigsaw

    (https://jigsaw.google.com/)

  • FaceForensics 视频基准 (http://kaldir.vc.in.tum.de/faceforensics_benchmark/)

  • Matthias Niessner 教授 (https://niessnerlab.org/members/matthias_niessner/profile.html)

  • Luisa Verdoliva 教授 (http://www.grip.unina.it/people/userprofile/verdoliva.html)

  • FaceForensics 团队 (http://www.niessnerlab.org/projects/roessler2019faceforensicspp.html)

  • FaceForensics Github 页面 (https://github.com/ondyari/FaceForensics/)

长按扫码,关注我们

你与世界 只差一个

磐创AI