金沙js0888_首頁(欢迎您)

  • <td id="dgejl"><strike id="dgejl"></strike></td>
        1. 一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡,已开源

          作者: 栗子 晓查 2020-03-09 09:54:44

          本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

          AI造出的假图片恐怕很难再骗过AI了。

          连英伟达本月刚上线的StyleGAN2也被攻破了。即使是人眼都分辨看不出来假脸图片,还是可以被AI正确鉴别。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          最新研究发现,只要用让AI学会鉴别某一只GAN生成的假图片,它就掌握了鉴别各种假图的能力。

          不论是GAN生成的,Deepfake的,超分辨率的,还是怎样得来的,只要是AI合成图片,都可以拿一个通用的模型检测出来。

          尽管各种CNN的原理架构完全不同,但是并不影响检测器发现造假的通病。

          只要做好适当的预处理和后处理,以及适当的数据扩增,便可以鉴定图片是真是假,不论训练集里有没有那只AI的作品。

          这就是Adobe和UC伯克利的科学家们发表的新成果。

          有网友表示,如果他们把这项研究用来参加Kaggle的假脸识别大赛,那么将有可能获得最高50万美元奖金。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源
          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          然而他们并没有,而是先在ArXiv公布了预印本,并且还被CVPR 2020收录。

          最近,他们甚至将论文代码在GitHub上开源,还提供了训练后的权重供读者下载。

          造出7万多张假图

          要考验AI鉴别假货的能力,论文的第一作者、来自伯克利的学生Wang Sheng-Yu用11种模型生成了不同的图片,涵盖了各种CNN架构、数据集和损失。

          所有这些模型都具有上采样卷积结构,通过一系列卷积运算和放大操作来生成图像,这是CNN生成图像最常见的设计。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          有ProGAN、StyleGAN、BigGAN、BigGAN、GauGAN等等,这些GAN各有特色。

          ProGAN和StyleGAN为每个类别训练不同的网络;StyleGAN将较大的像素噪声注入模型,引入高频细节;BigGAN具有整体式的类条件结构;进行图像转换的GauGAN、CycleGAN、StarGAN。

          除了GAN以外,还有其他处理图片的神经网络:

          • 直接优化感知损失 ,无需对抗训练的级联细化网络(CRN);
          • 条件图像转换模型隐式最大似然估计(IMLE);
          • 改善低光照曝光不足的SITD模型;
          • 超分辨率模型,即二阶注意力网络(SAN);
          • 用于换脸的的开源DeepFake工具faceswap。
          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          主流图片处理CNN模型应有尽有。他们总共造出了7万多张“假图”。

          虽然生成这些图片所用的算法大相径庭、风格迥异,但是总有会有一些固有缺陷,这里面既有CNN本身的问题,也有GAN的局限性。

          这是因为常见的CNN生成的内容降低了图片的表征能力,而这些工作大部分集中在网络执行上采样和下采样的方式上。下采样是将图像压缩,上采样是将图像插值到更大的分辨率上。

          之前,Azulay和Weiss等人的研究表明,表明卷积网络忽略了经典的采样定理,而跨步卷积(strided convolutions)操作减少了平移不变性,导致很小的偏移也会造成输出的极大波动。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          另外,朱俊彦团队发表在ICCV 2019上的论文表明,GAN的生成能力有限,并分析了预训练GAN无法生成的图像结构。

          今年7月,哥伦比亚大学的Zhang Xu等人进一步发现了GAN的“通病”,常见GAN中包含的上采样组件会引起伪像。

          他们从理论上证明了,这些伪像在频域中表现为频谱的复制,这在频谱图上表现十分明显。

          比如同样是一张马的图片,真实照片的信号主要集中在中心区域,而GAN生成的图像,频谱图上出现了四个小点。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          因此他们提出了一种基于频谱而不是像素的分类器模型,在分辨假图像上达到了最先进的性能。

          而Wang同学发现,不仅是GAN,其他的CNN在生成图像时,也会在频谱图中观察到周期性的图案。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          训练AI辨别真伪

          刚才生成的数据集,包含了11个模型生成的假图。

          不过,真假分类器并不是用这个大合集来训练的。

          真正的训练集里,只有英伟达ProGAN这一个模型的作品,这是关键。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源
           ProGAN过往作品展

          团队说,只选一个模型的作品用来训练,是因为这样的做法更能适应现实任务:

          现实世界里,数据多样性永远是未知的,你不知道自己训练出的AI需要泛化到怎样的数据上。所以,干脆就用一种模型生成的图像来训练,专注于帮AI提升泛化能力。

          而其他模型生成的作品,都是测试泛化能力用的。

          (如果用很多模型的假图来训练,泛化任务就变得简单了,很难观察出泛化能力有多强。)

          具体说来,真假分类器是个基于ResNet-50的网络,先在ImageNet上做了预训练,然后用ProGAN的作品做二分类训练。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

           ProGAN原理

          不过,训练集不是一只ProGAN的作品。团队用了20只ProGAN,每只负责生成LSUN数据集里的一个类别。一只ProGAN得到3.6万张训练用图,200张验证用图,一半是生成的假图,一半是真图。

          把20只ProGAN的成果加在一起,训练集有72万张,验证集有4000张

          为了把单一数据集的训练成果,推广到其他的数据集上,团队用了自己的方法:

          最重要的就是数据扩增。先把所有图像左右翻转,然后用高斯模糊,JPEG压缩,以及模糊+JPEG这些手段来处理图像。

          扩增手段并不特别,重点是让数据扩增以后处理的形式出现。团队说,这种做法带来了惊人的泛化效果 (详见后文) 。

          训练好了就来看看成果吧。

          明辨真伪

          研究人员主要是用平均精度 (Average Precision) 这个指标,来衡量分类器的表现。

          在多个不同的CNN模型生成的图片集里,ProGAN训练出的分类器都得到了不错的泛化:

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          几乎所有测试集,AP分值都在90以上。只在StyleGAN的分值略低,是88.2。

          不论是GAN,还是不用对抗训练、只优化感知损失的模型、还是超分辨率模型,还是Deepfake的作品,全部能够泛化。

          团队还分别测试了不同因素对泛化能力产生的影响:

          一是,数据扩增对泛化能力有所提升。比如,StyleGAN从96.3提升到99.6,BigGAN从72.2提升到88.2,GauGAN从67.0提升到98.1等等。更直观的表格如下,左边是没有扩增:

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          另外,数据扩增也让分类器更加鲁棒了。

          二是,数据多样性也对泛化能力有提升。还记得当时ProGAN生成了LSUN数据集里20个类别的图片吧。大体上看,用越多类别的图像来训练,得到的成绩就越好:

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          然后,再来试想一下,这时候如果突然有个新模型被开发出来,AI也能适应么?

          这里,团队用了刚出炉没多久的英伟达StyleGAN2,发现分类器依然可以良好地泛化:

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          最后,还有一个问题。

          AI识别假图,和人类用肉眼判断的机制一样么?

          团队用了一个“Fakeness (假度) ”分值,来表示AI眼里一张图有多假。AI觉得越假,分值越高。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          实验结果是,在大部分数据集里,AI眼里的假度,和人类眼里的假度,并没有明显的相关性。

          只在BigGAN和StarGAN两个数据集上,假度分值越高时,能看到越明显的瑕疵。

          更多数据集上没有这样的表现,说明分类器很有可能更倾向于学习低层的缺陷,而肉眼看到的瑕疵可能更偏向于高层

          安装使用

          说完了论文,下面我们就可以去GitHub上体验一下这个模型的厉害了。

          论文源代码基于PyTorch框架,需要安装NVIDIA GPU才能运行,因为项目依赖于CUDA。

          首先将项目克隆到本地,安装依赖项。

          1. pip install -r requirements.txt 

          考虑到训练成本巨大,作者还提供权重和测试集下载,由于这些文件存放在Dropbox上不便国内用户下载,在我们公众号中回复CNN即可获得国内网盘地址。

          下载完成后将这两个文件移动到weights目录下。

          然后我们就可以用来判别图像的真假了:

          1. # Model weights need to be downloaded. 
          2. python demo.py examples/real.png weights/blur_jpg_prob0.1.pth 
          3. python demo.py examples/fake.png weights/blur_jpg_prob0.1.pth 

          如果你有能力造出一个自己的GAN,还可以用它来检测你模型的造假能力。

          1. # Run evaluation script. Model weights need to be downloaded. 
          2. python eval.py 

          作者就用它鉴别了13种CNN模型制造的图片,证明了它的泛化能力。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          闪闪发光作者团

          这篇文章的第一作者是来自加州大学伯克利分校的Wang Sheng-Yu,他现在是伯克利人工智能研究实验室(BAIR)的一名研究生,在鉴别假图上是个好手。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          今年他和Adobe合作的另一篇论文Detecting Photoshopped Faces by Scripting Photoshop,可以发现照片是否经过PS瘦脸美颜的操作,而且还能恢复“照骗”之前的模样。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          这篇的另一名作者Richard Zhang与Wang同学在上面的文章中也有合作,2018年之前他在伯克利攻读博士学位,毕业后进入Adobe工作。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          这篇文章的通讯作者Alexei Efros,他曾是朱俊彦的导师,本文提到的CycleGAN正是出自朱俊彦博士之手。Alexei现在是加州大学伯克利分校计算机系教授,此前曾在CMU机器人学院任教9年。

          一个模型击溃12种AI造假,各种GAN与Deepfake都阵亡 | 已开源

          传送门

          论文地址:https://arxiv.org/abs/1912.11035

          源代码:https://github.com/peterwang512/CNNDetection

          AI 数据 人工智能
          上一篇:该不该给人脸识别热潮“降降温”? 下一篇:用“小AI”解决人工智能的“大”烦恼
          评论
          取消
          暂无评论,快去成为第一个评论的人吧

          更多资讯推荐

          人工智能如何应用于数据中心的物理安全

          机器学习和人工智能被吹捧为解决数据中心问题的万能药。虽然大部分都是炒作和毫无根据的乐观主义,但人工智能工具在某些领域已经是有用和实用的。这些领域包括数据中心物理安全,人工智能在三个方面发挥着重要作用:图像和声音识别、异常检测和预测分析。

          Cassie ·? 1天前
          科技创新让AI电力员工全国多地上岗

          比人力快60倍的输电线路巡查图像“识别员”、可媲美经验老手的监控视频“质检员”、3秒内就能各界面快速响应的变压器“风控员”……一批电力领域的“新员工”正在全国多地上岗。

          佚名 ·? 1天前
          中国研究者开发AI系统,平均3秒内识别新冠肺炎和普通感冒

          秋冬季节也是其他呼吸道疾病的高发期,这让新冠肺炎的鉴别、诊断和治疗变得更加困难。近期,《自然》子刊《自然通讯》发布的论文显示,中国研究员已开发一种基于深度学习的人工智能系统,可用来快速地区分新冠肺炎和其他呼吸道疾病。

          周姝祺 ·? 1天前
          疫情下非洲正在全面的连通性建设,投资方向清晰明确

          要帮助非洲真正通过电信及数据骨干网络的普及迎来腾飞,本地数据及人工智能产业的崛起也将一大关键前提。

          佚名 ·? 2天前
          机器人有同理心吗?情感AI的可用性有多少?

          说起便携AI应用,很多人会率先想到Siri、Alexa或Google Assistant等语音助手,他们不但可以设置计时器,播放歌曲或轻松查看天气,但要进行真正的人机对话,要如何才能实现?

          曾几何时6161 ·? 2天前
          人工智能发展越来越快,将来人工智能会不会取代人类的位置?

          人工智能的发展就好比人类进化一样,不过这个过程更短。人类用智慧创造了人工智能,而人工智能将会是一个超越人类智慧的存在,因为人工智能一但有了独立的自我意识,就可以不断的学习进步,并且可以集人类的知识与智慧为己用。

          小陈i爱生活 ·? 2天前
          人工智能:从经典计算机到量子计算机,弱AI进阶到强AI时代?

          人工智能(Artificial Intelligence,缩写AI),通常指通过普通计算机程序来呈现人类智能的技术。计算机是为AI提供必要的技术基础,它决定人工智能的上限空间。人工智能分为弱人工智能和强人工智能,从弱AI进阶到强AI,代表着人类使用的经典计算机,过渡到量子计算机,强人工智能时代才能真正到来。

          秦七AI视界 ·? 2天前
          【干货】图神经网络的十大学习资源分享

          图神经网络(GNNs)是深度学习的一个相对较新的领域,从最近开始越来越流行。

          雷锋字幕组 ·? 2天前
          Copyright?2005-2020 51CTO.COM 版权所有 未经许可 请勿转载
          金沙js0888