当真是买算法送手机!
这不,谷歌又给“亲儿子”Pixel 6塞福利了,让手机抠图也能细节到头发丝。
看这效果,原本模糊的头发轮廓,咻地一下,就变成了纤毫毕现的样子!
这样一来,就避免了使用人像模式拍照时人物与虚化背景割裂的情况,让人物照片的纵深感更加逼真。
四舍五入一下,这不就是手握单反拍照?(手动狗头)
Alpha遮罩+监督学习
在介绍最新的方法之前,先来了解一下过去手机的人像模式拍照到底是怎么实现的。
由此,谷歌将常用于电影制作和摄影修图的Alpha遮罩搬到了手机上,提出了一个全新的神经网络,名叫“Portrait matting”。
其中,主干网络是MobileNetV3。
这是一个轻量级网络,特点是参数少、计算量小、推理时间短,在OCR、YOLO v3等任务上非常常见,具体结构长这样:
在推理时,Portrait matting首先将RGB图像和低分辨率的Alpha遮罩作为输入,用MobileNetV3来预测分辨率更高的Alpha遮罩。
然后再利用一个浅层网络和一系列残差块,来进一步提升Alpha遮罩的精细度。
其中,这个浅层网络更加依赖于低层特征,由此可以得到高分辨率的结构特征,从而预测出每个像素的Alpha透明度。
通过这种方式,模型能够细化初始输入时的Alpha遮罩,也就实现了如上细节到头发丝的抠图效果。谷歌表示,神经网络Portrait matting可以使用Tensorflow Lite在Pixel 6 上运行。
大型站长资讯类网站! https://www.0817zz.com