本文转自：36氪
当真是买算法送手机！
这不 ， 谷歌又给“亲儿子”Pixel 6塞福利了 ， 让手机抠图也能细节到头发丝 。
看这效果 ， 原本模糊的头发轮廓 ， 咻地一下 ， 就变成了纤毫毕现的样子！

文章图片

文章图片

连发丝之间的缝隙也能精准抠到 。

文章图片

文章图片

这样一来 ， 就避免了使用人像模式拍照时人物与虚化背景割裂的情况 ， 让人物照片的纵深感更加逼真 。
四舍五入一下 ， 这不就是手握单反拍照？（手动狗头）
Alpha遮罩+监督学习
在介绍最新的方法之前 ， 先来了解一下过去手机的人像模式拍照到底是怎么实现的 。
传统方法是使用二进制将图像分割 ， 然后对分离出的背景进行虚化 ， 在视觉上产生一种纵深感 ， 由此也就能更加突出人物主体了 。

文章图片

文章图片

虽然带来的视觉效果非常明显 ， 但是在细节上的表现还不够强大 。
由此 ， 谷歌将常用于电影制作和摄影修图的Alpha遮罩搬到了手机上 ， 提出了一个全新的神经网络 ， 名叫“Portrait matting” 。
其中 ， 主干网络是MobileNetV3 。
这是一个轻量级网络 ， 特点是参数少、计算量小、推理时间短 ， 在OCR、YOLO v3等任务上非常常见 ， 具体结构长这样：

文章图片

文章图片

在推理时 ， Portrait matting首先将RGB图像和低分辨率的Alpha遮罩作为输入 ， 用MobileNetV3来预测分辨率更高的Alpha遮罩 。
然后再利用一个浅层网络和一系列残差块 ， 来进一步提升Alpha遮罩的精细度 。
其中 ， 这个浅层网络更加依赖于低层特征 ， 由此可以得到高分辨率的结构特征 ， 从而预测出每个像素的Alpha透明度 。
通过这种方式 ， 模型能够细化初始输入时的Alpha遮罩 ， 也就实现了如上细节到头发丝的抠图效果 。谷歌表示 ， 神经网络Portrait matting可以使用Tensorflow Lite在Pixel 6 上运行 。

文章图片

文章图片

此外 ， 考虑到使用Alpha遮罩抠图时 ， 背光太强往往会导致细节处理不好 。
谷歌使用了体积视频捕捉方案The Relightables来生成高质量的数据集 。
这是谷歌在2019年提出的一个系统 ， 由一个球形笼子组成 ， 装有331个可编程LED灯和大约100个用于捕获体积视频的摄像机 。
相比于一般的数据集 ， 这种方法可以让人物主体的光照情况与背景相匹配 ， 由此也就能呈现更为逼真的效果 。

文章图片

文章图片

而且这种方法还能满足人像被放置在不同场景中时 ， 光线变化的需求 。

文章图片

文章图片

值得一提的 ， 谷歌还在这一方法中使用了监督学习的策略 。
这是因为神经网络在抠图上的准确度和泛化能力还有待提升 ， 而纯人工标注的工作量又太大了 。