谷歌AI用“深度”学习来虚化背景，单摄手机可用，Jeff Dean表示优秀
谷歌AI用“深度”学习来虚化背景，单摄手机可用，Jeff Dean表示优秀
虚栗子 发自 凹非寺 量子位 出品 | 公众号 QbitAI
真 · 深度学习↓↓↓
Jeff Dean说的。
因为，谷歌又给Pixel的相机注入了机器学习的灵魂：在背景虚化的任务上，学习了一下深度 (Depth) 。
学习前 (Stereo) 与学习后 (Learned) ，对比在动图右半边。表面看去，该虚的地方确实更虚了一些。
△ “不仔细就看不知道是动图”系列
史称深度学习。
不过，神经网络的学习效果，不止表面看去这么简单。
弥补立体视觉的缺憾
以前的人像模式，只是简单地用了立体视觉原理：
在同一个场景下，给同一个人物，拍下两张角度略微不同的照片。
△ 肉眼几乎看不出的平移，请看下图
循环播放两张照片，发现人物是不动的，背景却平移了。这个现象就叫做视差 (Parallax) 。
△ 仔细看，那个模糊的圆圈
用视差来预测物体所在的深度，这样的方法叫做相位对焦 (PDAF) 。
但PDAF有自己的局限，一是平移量通常很微小，找到函数关系比较困难；
△ 平行线的移动方向是个谜
二是，立体视觉技术都会有孔径问题 (Aperture Problem) ：遇到直线，直线的平移方向、平移了多少，可能都无法判断。
再仔细观察一次这个栗子 (这次不是动图) ：
△ 学过 (右) 比没学过 (左) ，注意平行板
比如，图中有水平线的时候，深度预测就常常出错。如上图左，几块平行板的深度应当相似，可虚化程度却很不一致。
所以，谷歌AI团队决定，不能只用PDAF，也要有其他预测依据来支撑。
多种预测工具 x 高质量数据收集
团队开发的新方法里，增加了许多其他的预测工具：
比如，远离焦平面 (In-Focus Plane) 的点，就没有近处的那么尖锐。这提供了一个散焦 (Defocus) 深度判断依据。 比如，生活里的常见物体，我们本就粗略知道它们的尺寸。用这些物体在图像里的大小，来判断深度，是语义上的依据。
用一个CNN把这些辅助的依据，跟原本的PDAF结合起来。
特别的数据收集姿势
训练这只CNN，需要喂食大量的PDAF图像，就是角度略有不同的组图。
还需要与图像相对应的，高质量的深度图 (Depth Maps) 。
除此之外，想改善手机的人像模式，训练数据就要和手机拍照的效果差不多。
△ 看上去草率，实则有点厉害
于是，团队DIY了一件很鬼畜的装备。把五台Pixel 3绑在一起，让它们同时拍摄 (误差2毫秒以内) 。
这五台手机的位置排布是有说法的：
五个视角确保了多个方向存在视差，避免孔径问题； 基本上保证，一张照片中的某个点，至少在另一张 (同时拍摄的) 照片上也出现过。少有缺乏参照的点； 各个摄像头之间的距离，要远远大于PDAF基线，这样预测会更准确； 同步拍照，确保了在动态场景里也能计算深度。
△ 动态场景：宝宝时刻在动，但拍到的是同一时间的形态
(另外，这个装备是便携的，户外拍摄的样本也可以采集。)
排除其他干扰
不过，就算数据很理想，真要准确预测图中的物体深度，也并不容易。
用一对PDAF图像，可以得出很多种不同的深度图：
(镜头的不同，焦距的不同，都会对深度判断产生影响。)
要把这一点考虑进入，就直接预测各个物体之间的相对深度，秒掉镜头的影像因素。
团队说，这样就能生成满意的结果了。
速度最重要
(虽然，国内可能没有多少Pixel用户......)
团队在博客里写到，拍照的时候需要快速预测，不能让~~相机~~举着手机的人类等太久。
所以，用TensorFlow Lite把CNN放进手机，用Pixel 3的GPU来完成快速计算。
到谷歌相机的6.1版本，就能用上了。
用户可以用Google Photos自己修改深度，来改变模糊值，以及焦点。
也可以用三方深度提取器，提取一张jpg的深度图，自己欣赏。
— 完 —