浙江铃声推荐联盟

没绿幕实现AR特效!谷歌利用AI技术实现背景分离!

鼎界科技2018-11-12 06:08:18


大场面的科幻动作片,拍摄过程肯定离不开绿幕,制作过程更加磨人。抠绿与后期要做到完美,不仅要求细心,还得堆大量时间。


为了让影视制作简单点,谷歌研发出了可以在手机端就实时抠背景的工具。这个实时抠背景的工具目前只出到Beta版,并且已经取得了成效,因为YouTube将在Stories中提供这种视频分离功能。即便没有绿幕背景或其他设备,用户都能轻松改变他们的视频背景。



这个技术,是用卷积神经网络实现的。这个神经网络框架,专为移动端设计。为了训练这个模型,谷歌标注了成千上万个图像。前景标出头发、眉毛、皮肤、眼镜、鼻孔、嘴唇等。



负责领导项目的谷歌软件工程师Valentin Bazarevsky和Andrei Tkachenka写道:“我们的近期目标是利用在YouTube Stories中的有限推出来测试我们的技术。随着我们改进和扩大我们的分离技术,我们计划将其整合到谷歌更广泛的增强现实服务中。”



谷歌的计算机视觉方法可以为更多的受众提供类似体验。这支团队设计了能够在智能手机上以高质量完成任务的卷积神经网络(CNN),其在iPhone 7上的速度达到100FPS以上,而在Pixel 2上则可以超过40FPS。

苹果和谷歌都已经展示了软件将如何帮助分离对象和背景,从而促进增强现实体验作为深度传感器的替代品。但谷歌正通过机器学习来进一步推进这一方法。由于谷歌最终着眼于AR服务,全息视频聊天可能很快就能实现。