金沙js0888_首頁(欢迎您)

  • <td id="dgejl"><strike id="dgejl"></strike></td>
        1. AI把视频里的你抹掉了!效果丝滑,毫无痕迹

          作者: 郭一璞 鱼羊 2020-09-07 07:00:09

          本文经AI新媒体量子位(公众号ID:QbitAI)授权转载,转载请联系出处。

          男子骑自行车,越过沙丘,无影无踪,目击者称就消失在眼前:

          因击球过猛,网球运动员携球拍共同湮灭:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          男大学生热爱徒步运动,进入深山戈壁后失踪:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          白色面包车离奇消失,查遍监控摄像头均未发现踪影:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          妙龄少女广场起舞,光天白日下原地消失不知去向:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          中学男生周末荡秋千,飞到半空只剩秋千椅,家长称1秒前孩子还安然无恙:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          马术选手骑马越过栅栏后人马双双消失,网民怀疑任意门现世:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          帆船选手出海后离奇失踪,主办方搜寻后仍未获踪影:

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          诡异的现象,让人怀疑视频中使用了和九又四分之三站台同样的魔法。

          没错,这就是今年ECCV上最神奇的AI隐身衣技术。

          让网友们惊叹,此情此景堪称灭霸。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          甚至开始担心,如果这个技术被小偷用上,家具都会“飘走”。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          也有外国网友开心,觉得可以用来屏蔽广告,很不错。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          这件隐身衣,究竟是怎么创造出来的?

          基于光流边缘引导的视频补全算法

          AI这种完美去水印、删人物的「隐身」超能力,实际上是一种基于光流的视频修复算法。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          此前,量子位就曾经介绍过港中大商汤联合实验室和南洋理工大学的光流引导视频修复算法。

          不过,以往的基于光流的方法往往无法保留运动边界的锐度,使得修复后的画面不够平滑。

          另外,由于此前的方法是在相邻帧之间的局部光流连接中传播色彩,但并非所有视频中被水印、物体遮住的区域都可以通过这种方式恢复,就会造成伪影。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          为了解决这些问题,来自弗吉尼亚大学和Facebook的研究团队主要采取了以下三种方法:

          • 分段平滑流补全(Piecewise-smooth flow completion)
          • 非局部流连接(Non-local flow neighbors)
          • 无缝融合(Seamless blending)
          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          具体而言,首先,网络的输入包括待修复的视频本身,和一个二进制掩码视频,用以指明哪些部分需要算法合成。

          然后,计算相邻帧之间的光流,以及一组非相邻帧之间的光流,提取并补完流的边缘。下图中红线部分,即为神经网络“脑补”出来的边缘。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          接着用流边缘来引导视频中被水印/人物挡住的缺失区域的修复。

          下一步,是按照光流的轨迹,为每个缺失的像素计算出一组候选像素。每个候选像素都有一个对应的置信度分数和一个二进制有效性指标。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          以上图为例,绿色区域为缺失的部分,黄线、橙线和棕线分别代表第一非局部帧、当前帧和第三非局部帧的扫描线。

          可以看到,通过跟踪光流轨迹(黑色虚线),图上蓝色的像素点的候选像素被计算了出来。但由于人腿的运动形成了遮挡,计算红色像素点的候选像素就出现了困难。

          但在引入非相邻帧的非局部光流后,红色像素点就得到了额外的非局部领域(黄线和棕线上的红色像素点),由此,就可以计算出被人腿遮挡的真实背景。

          然后,再在梯度域中,使用置信度加权平均,融合每个缺失像素点的候选对象以重建颜色。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          最后,迭代这个过程,直到没有缺失像素为止。

          实验结果:SOTA

          从视觉效果上来说,这只AI的隐身大法修炼得十分成功。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          与Diffusion和商汤的徐瑞等人的算法相比,新方法提供了更为清晰的运动边界,效果更加平滑。

          那么定量对比的结果又如何呢?直接来看数据。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          在DAVIS数据集上,研究人员将该方法与现有方法进行对比,比较了水印之类的静止对象和运动对象两类合成掩码的视频补完结果。

          结果显示,新方法在各项指标上都达到了最佳性能。

          关于作者

          这件酷炫的AI隐身衣,由弗吉尼亚理工大学和Facebook打造。

          一作是弗吉尼亚理工大学的三年级博士生Chen Gao。他的研究方向是计算摄影和计算机视觉,师从弗吉尼亚理工大学助理教授Jia-Bin Huang。

          AI把视频里的你抹掉了!效果丝滑,毫无痕迹 | ECCV

          这项工作是他在Facebook实习期间完成。目前,他在谷歌担任研究实习生。

          作者还表示,会很快开源这件AI隐形衣的代码,并放出在线Demo。

          传送门

          项目地址:
          https://chengao.vision/FGVC/

          论文地址:
          https://arxiv.org/abs/2009.01835

          AI 数据 人工智能
          上一篇:74KB图片也高清,谷歌用神经网络打造图像压缩新算法 下一篇:人工智能和机器学习买家指南
          评论
          取消
          暂无评论,快去成为第一个评论的人吧

          更多资讯推荐

          人工智能如何应用于数据中心的物理安全

          机器学习和人工智能被吹捧为解决数据中心问题的万能药。虽然大部分都是炒作和毫无根据的乐观主义,但人工智能工具在某些领域已经是有用和实用的。这些领域包括数据中心物理安全,人工智能在三个方面发挥着重要作用:图像和声音识别、异常检测和预测分析。

          Cassie ·? 1天前
          科技创新让AI电力员工全国多地上岗

          比人力快60倍的输电线路巡查图像“识别员”、可媲美经验老手的监控视频“质检员”、3秒内就能各界面快速响应的变压器“风控员”……一批电力领域的“新员工”正在全国多地上岗。

          佚名 ·? 1天前
          中国研究者开发AI系统,平均3秒内识别新冠肺炎和普通感冒

          秋冬季节也是其他呼吸道疾病的高发期,这让新冠肺炎的鉴别、诊断和治疗变得更加困难。近期,《自然》子刊《自然通讯》发布的论文显示,中国研究员已开发一种基于深度学习的人工智能系统,可用来快速地区分新冠肺炎和其他呼吸道疾病。

          周姝祺 ·? 1天前
          疫情下非洲正在全面的连通性建设,投资方向清晰明确

          要帮助非洲真正通过电信及数据骨干网络的普及迎来腾飞,本地数据及人工智能产业的崛起也将一大关键前提。

          佚名 ·? 2天前
          机器人有同理心吗?情感AI的可用性有多少?

          说起便携AI应用,很多人会率先想到Siri、Alexa或Google Assistant等语音助手,他们不但可以设置计时器,播放歌曲或轻松查看天气,但要进行真正的人机对话,要如何才能实现?

          曾几何时6161 ·? 2天前
          人工智能发展越来越快,将来人工智能会不会取代人类的位置?

          人工智能的发展就好比人类进化一样,不过这个过程更短。人类用智慧创造了人工智能,而人工智能将会是一个超越人类智慧的存在,因为人工智能一但有了独立的自我意识,就可以不断的学习进步,并且可以集人类的知识与智慧为己用。

          小陈i爱生活 ·? 2天前
          人工智能:从经典计算机到量子计算机,弱AI进阶到强AI时代?

          人工智能(Artificial Intelligence,缩写AI),通常指通过普通计算机程序来呈现人类智能的技术。计算机是为AI提供必要的技术基础,它决定人工智能的上限空间。人工智能分为弱人工智能和强人工智能,从弱AI进阶到强AI,代表着人类使用的经典计算机,过渡到量子计算机,强人工智能时代才能真正到来。

          秦七AI视界 ·? 2天前
          【干货】图神经网络的十大学习资源分享

          图神经网络(GNNs)是深度学习的一个相对较新的领域,从最近开始越来越流行。

          雷锋字幕组 ·? 2天前
          Copyright?2005-2020 51CTO.COM 版权所有 未经许可 请勿转载
          金沙js0888