金沙js0888_首頁(欢迎您)

  • <td id="dgejl"><strike id="dgejl"></strike></td>
        1. AI把视频里的你抹掉了!效果丝滑,毫无痕迹

          作者: 郭一璞 鱼羊 2020-09-07 07:00:09

          本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

          男子骑自行车,越过沙丘,无影无踪,目击者称就消失在眼前:

          因击球过猛,网球运动员携球拍共同湮灭:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          男大学生热爱徒步运动,进入深山戈壁后失踪:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          白色面包车离奇消失,查遍监控摄像头均未发现踪影:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          妙龄少女广场起舞,光天白日下原地消失不知去向:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          中学男生周末荡秋千,飞到半空只剩秋千椅,家长称1秒前孩子还安然无恙:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          马术选手骑马越过栅栏后人马双双消失,网民怀疑任意门现世:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          帆船选手出海后离奇失踪,主办方搜寻后仍未获踪影:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          诡异的现象,让人怀疑视频中使用了和九又四分之三站台同样的魔法。

          没错,这就是今年ECCV上最神奇的AI隐身衣技术。

          让网友们惊叹,此情此景堪称灭霸。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          甚至开始担心,如果这个技术被小偷用上,家具都会“飘走”。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          也有外国网友开心,觉得可以用来屏蔽广告,很不错。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          这件隐身衣,究竟是怎么创造出来的?

          基于光流边缘引导的视频补全算法

          AI这种完美去水印、删人物的「隐身」超能力,实际上是一种基于光流的视频修复算法。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          此前,量子位就曾经介绍过港中大商汤联合实验室和南洋理工大学的光流引导视频修复算法。

          不过,以往的基于光流的方法往往无法保留运动边界的锐度,使得修复后的画面不够平滑。

          另外,由于此前的方法是在相邻帧之间的局部光流连接中传播色彩,但并非所有视频中被水印、物体遮住的区域都可以通过这种方式恢复,就会造成伪影。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          为了解决这些问题,来自弗吉尼亚大学和Facebook的研究团队主要采取了以下三种方法:

          • 分段平滑流补全(Piecewise-smooth flow completion)
          • 非局部流连接(Non-local flow neighbors)
          • 无缝融合(Seamless blending)
          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          具体而言,首先,网络的输入包括待修复的视频本身,和一个二进制掩码视频,用以指明哪些部分需要算法合成。

          然后,计算相邻帧之间的光流,以及一组非相邻帧之间的光流,提取并补完流的边缘。下图中红线部分,即为神经网络“脑补”出来的边缘。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          接着用流边缘来引导视频中被水印/人物挡住的缺失区域的修复。

          下一步,是按照光流的轨迹,为每个缺失的像素计算出一组候选像素。每个候选像素都有一个对应的置信度分数和一个二进制有效性指标。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          以上图为例,绿色区域为缺失的部分,黄线、橙线和棕线分别代表第一非局部帧、当前帧和第三非局部帧的扫描线。

          可以看到,通过跟踪光流轨迹(黑色虚线),图上蓝色的像素点的候选像素被计算了出来。但由于人腿的运动形成了遮挡,计算红色像素点的候选像素就出现了困难。

          但在引入非相邻帧的非局部光流后,红色像素点就得到了额外的非局部领域(黄线和棕线上的红色像素点),由此,就可以计算出被人腿遮挡的真实背景。

          然后,再在梯度域中,使用置信度加权平均,融合每个缺失像素点的候选对象以重建颜色。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          最后,迭代这个过程,直到没有缺失像素为止。

          实验结果:SOTA

          从视觉效果上来说,这只AI的隐身大法修炼得十分成功。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          与Diffusion和商汤的徐瑞等人的算法相比,新方法提供了更为清晰的运动边界,效果更加平滑。

          那么定量对比的结果又如何呢?直接来看数据。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          在DAVIS数据集上,研究人员将该方法与现有方法进行对比,比较了水印之类的静止对象和运动对象两类合成掩码的视频补完结果。

          结果显示,新方法在各项指标上都达到了最佳性能。

          关于作者

          这件酷炫的AI隐身衣,由弗吉尼亚理工大学和Facebook打造。

          一作是弗吉尼亚理工大学的三年级博士生Chen Gao。他的研究方向是计算摄影和计算机视觉,师从弗吉尼亚理工大学助理教授Jia-Bin Huang。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          这项工作是他在Facebook实习期间完成。目前,他在谷歌担任研究实习生。

          作者还表示,会很快开源这件AI隐形衣的代码,并放出在线Demo。

          传送门

          项目地址:
          https://chengao.vision/FGVC/

          论文地址:
          https://arxiv.org/abs/2009.01835

          AI 数据 人工智能
          上一篇:74KB图片也高清,谷歌用神经网络打造图像压缩新算法 下一篇:人工智能和机器学习买家指南
          评论
          取消
          暂无评论,快去成为第一个评论的人吧

          更多资讯推荐

          人工智能如何解决数据中心运营商面临的挑战

          行业专家对人工智能如何帮助解决该行业内出现的运营挑战、数据中心行业需要克服的最大障碍,以及数据中心如何利用人工智能提高效率和保持弹性进行了探讨。

          Harris ·? 1天前
          细数从Al算法到产品化落地的八大鸿沟

          AI产业要真正产生价值,推动社会发展,面临着很多的挑战。从AI算法到产品化落地存在巨大的挑战,可以总结为八大鸿沟。

          陶然 ·? 2天前
          2021年六大科技趋势预测

          下面是对2021年人工智能、云、自动化、数字化工作空间和DevOps进行的一些预测。让我们一起来期待2021年的这些重大发展。

          业路网 ·? 2天前
          陈根:人工智能,正在跨越人机情感鸿沟

          很长时间以来,是否具备情感,是区分人与机器的重要标准之一。换言之,机器是否具有情感也是机器人性化程度高低的关键因素之一。想要人工智能理解人类感情,则需要从人工智能的情感计算开始。

          陈根 ·? 2天前
          2021年AI关键趋势,AI芯片初创公司可能发生并购

          最近发布的2021 AI/ML用例调查显示情况发生了变化,有86%参与调查的人表示新冠大流行已经或将导致其所在的组织投资于新的AI计划。由于大流行引起的不确定性仍然影响所有的人,但报告仍给出了一些2021年的AI关键趋势。

          包永刚 ·? 2天前
          应对全球粮食危机 AI、5G与机器视觉联手“养鱼”

          全球粮食挑战已经成为现实难题,人工智能、机器视觉与5G网络等新兴技术能否指明新的解决方案?

          佚名 ·? 2天前
          关于机器人流程自动化不可不知的十个秘密

          机器人流程自动化会简化工作流程,将遗留系统紧密整合在一起,并使业务用户有能力解决自己的问题。但在诸多好处的背后,潜藏着一些亟需解决的问题。

          Peter Wayner ·? 3天前
          人工智能、大数据时代,普通人拿什么赚钱

          未来我们出行有无人驾驶车,吃饭有程序化小吃一条街,理发有机器人理发师,建设制造全程机械化设备……在科学高度发达、人工智能、大数据越来越完善的今天,我们已经无限接近共产主义社会。那么,作为普通人的我们,如何才能赚钱?

          归宿129305691 ·? 3天前
          Copyright?2005-2021 51CTO.COM 版权所有 未经许可 请勿转载
          金沙js0888