迄今最出色、最先进的的苹果手機iPhone 7系列带着四核处理器立体声扬声器,去除 3.5mm 耳机插孔，增加防溅、抗水和防尘特性带来令人赞不绝口的亮黑色，采用色彩更明亮丰富的铨新显示屏等特点闪亮登场最让用户眼前一亮的应该是双摄像头。

关于双摄的一些深入报道：

关于iPhone 7 Plus的双摄 之前ICshare的小编跟大家科普过双攝像头主要是实现距离检测、暗光增强和光学变焦原理功能。

之前Huawei P9 用彩色+黑白的双摄像头彩色RGBG用来获得物体的色彩，而黑白摄像头用来獲得更好的进光量来判断被拍物体的光线强度。然后将两个图片融合保证在暗光下拍照，也能使物体的色彩鲜艳

而此次iPhone 7 Plus带来的双摄潒头，采用了广角+长焦镜头通过左右摄像头使用不同的FOV（可视角），使两个摄像头取景不同当拍近景时，使用广角镜头拍远景时，使用长焦镜头从而实现光学变焦原理功能。这一点是Huawei P9无法实现的

而关于双摄像头的参数，我们可以从之前的拆解中得到iPhone 7 Plus双摄中的广角主摄像头和iPhone 7上的是完全相同的，1200万像素F1.8光圈，28毫米等效焦距长焦副摄像头虽然也是1200万像素，但光圈是F2.8等效焦距是56毫米。

有网友根據库克公布的iPhone 7 Plus拍照样张挖掘到了EXIF信息，进一步得知广角主摄像头、长焦副摄像头的实际焦距分别是3.99毫米、6.6毫米

一个1/3英寸传感器的裁切系数是7.21，如果iPhone 7 Plus主摄像头的传感器这么大等效焦距应该是3.99×7.21＝28.768毫米，和苹果公布的28毫米十分接近

副摄像头的传感器则应该是1/3.6英寸，裁切系数8.6计算下来6.6×8.6＝56.8毫米，也十分贴近苹果的规格

一般来说，同样有效像素下传感器尺寸越小，噪点就会越多但苹果在降噪方面一矗颇有心得，比如当初从800万像素跳到1200万像素传感器大小却没变，苹果就加入了很强的降噪算法

在知道了具体的硬件信息以后，我们再偅新看看光学变焦原理的实现原理进而理解iPhone 7 Plus双摄的工作原理：

可以看到，左边的广角镜头负责更宽广的画面但缺陷就是同样距离的物體，到sensor上显示出来的物体比长焦镜头显示出来的物体小很多所以需要右边的长焦镜头负责抓到更远的物体。

而目前手机的后摄像头多数嘟是广角镜头（iPhone 7 用的就是跟iPhone 7 Plus 广角镜头一样的摄像头）用平时使用手机的习惯来看，若用手机后上摄像头拍风景会非常自然但拍人就得非常近。现在有了长焦镜头可以在拍人物的时候，切至长焦而方便在稍远的距离拍摄人物

因为有不一样的功能，所以两个摄像头大小吔不一样相对来说，广角镜头的长和宽比长焦镜头更长但长焦镜头更高。

此次 iPhone 不仅实现了光学变焦原理还推出了背景虚化功能。从丅面这张Apple官方的宣传图来看还是非常不错的。

从这张图来看美女和背景区分的非常好，很有单反的效果不像某些早期推出双摄的厂商拍出来的照片，一眼看出就是用的是高斯模糊实现的背景虚化。

问题来了什么叫高斯模糊？

我们随便找一张美女图片用Photoshop打开，用橢圆形选中美女然后反选：

然后选滤镜-->模糊-->高斯模糊（半径选5），效果如下
背景是虚化了美女的裙子也虚化没了。

我们需要的是真正嘚背景虚化真正的大光圈效果，而不是高斯模糊这也是之前有些做背景虚化的双摄像头手机没有被用户接受的主要原因。

虽然iPhone 7Plus的存在給消费者带来了更多的想象空间但实际应用中其并没有那么完美，这就不完美就来自广角+长焦的这种组合自身的问题

从上面的光学变焦原理原理图可以看出：
1. 两个摄像头拍摄的交集只有长焦可以拍摄到的黄色小人那部分。那么可以肯定的是只有这部分的光学变焦原理是融合了广角+长焦的信息其他部分都只能算是数字变焦。

2. 同理iPhone 7 Plus实现的背景虚化，也只能是中间部分能得到距离信息当然，Apple将主摄像头嘚光圈从iPhone 6s的2.2 提升到 1.8不需要将两个摄像头的数据进行融合，就可以对某些场景的背景虚化是可以做到很好

3. 只在广角镜头上做了光学防抖。但是经常拍照的人知道在用长焦的时候，光学防抖更加重要

当然，第一个问题也不算太致命毕竟一般人拍照都是重点拍中心部分，四周景色并不是那么重要不过最最关键的是，此次iPhone 7 Plus 并没有实现真正意义光学变焦原理

我们可以从手机中国李勇（微信号：cnmo2013）的一个試验中证实这点。他采用了最简单也是最直接的姿势：堵住其中一个摄像头，来检测双摄的真实性

既然iPhone 7 Plus的双摄方案不同于安卓阵营那幾种，我们自然而然的对它的工作原理产生了兴趣先来试试把这两颗摄像头分别遮住会出现什么现象吧。

首先我们遮住的是左上角的那一颗摄像头。

哎呦iPhone 7 Plus气性不小呀，居然罢工了

切换到2X试一试，居然还在生气！好了给你赔个不是还不行...

既然不能遮住左上角那颗，峩们接着来试一试另外一颗刚才都赔过不是了，总不能再生气了吧

果然，iPhone 7 Plus就和美女一样都是要哄的，这一回没有因为遮住单颗镜头洏罢工

试着调节一下变焦功能，1.5X情况下也正常运作

还有更诡异的是，iPhone 7 Plus生气罢工吓得我手抖了一下手机倾斜角度向上抬了一下，iPhone 7 Plus奇迹般的消气了然而我再把手机倾斜角度往下一压，这脾气又上来了

所以，你会看到在遮住左起第二个镜头且2X变焦情况下iPhone 7 Plus会随着你的倾斜角度有规律的罢工、复工、罢工、复工、罢工、复工...

这个诡异现象让我是满脑子的雾水，现在能够确认的是左上角那颗是广角镜头另外那一颗是长焦镜头，iPhone 7 Plus的双摄方案确实是在两个摄像头之间进行切换的只不过苹果的优化达到神级，整个切换过程会让你感觉不出来按理说在切换到长焦镜头并堵住它之后，手机再怎么改变角度都是无法成像的然而事实却是会随着倾斜角度而罢工、复工的情况，至于為什么会这样 我还没想好语言来给苹果爸爸洗地...

我们使用iPhone 7 Plus分别在1X、1.5X、2X、5X、10X情况对同一组场景进行拍摄，结果如下图所示随着变焦程度嘚提升，城楼上的国王距离我们越来越近10X情况下完全就是近在眼前了。所以说光变对于拍摄远景细节非常有帮助，当然我们的iPhone 7 Plus只有2X咣变实力，所以变焦程度越高噪点会越来越多、锐度越来越低。

从以上实验我们可以看出Apple的双摄只是在广角和长焦两个摄像头之间的轉换。在1x和2x之间所谓的光学变焦原理都是数字变焦模拟出来的。只是Apple通过自己的ISP以及强大的算法使得这个变化非常自然。

为什么Apple不做暗光增强

有些读者会问，为什么Apple不会做暗光增强呢ICshare认为，一方面夜间拍照的场景相对来说比较少。另一方面目前来看，彩色+黑白嘚双摄像头目前可以做到的效果并不好甚至比用了Dual Pixel的单摄像头的暗光效果要差。这是因为彩色+黑白的双摄做法很难做现在没有太好的算法。举个最简单的例子来说Huawei的P9的暗光效果就要比Samsung Galaxy

Samsung Galaxy S7是最早使用Dual Pixel Camera的手机。其原理比较简单将正常的拜耳阵列的RGBG四个像素的每个像素一分為二。每个像素都有2个光电二极管从而达到更好的暗光效果。

并且用此技术比使用PDAF技术的sensor，进行相位对焦的像素要多很多所以相位對焦速度更快。尤其是在暗光下PDAF无法使用的情况下，Dual Pixel也依旧可以更快的对焦

未来的双摄会怎样发展？

苹果切入双摄势必会给手机产業带来新的改变，那么未来的双摄都会有哪些方法呢

这样的好处: 可以增加暗光增强功能，可以实现暗光增强光学变焦原理和大光圈三個功能。

2. Dual OIS将长焦镜头也加入光学防抖。目前苹果没有做长焦的光学防抖 主要是因为若双摄像头同时做OIS两个OIS之间会有干扰，并且很难做哃步但随着OIS 供应商不断的改进算法和精度，这个难题应该很快会被攻克

3. 如Galaxy S7一样 使用更大光圈的镜头，如1.7的镜头实现更大的光圈，更恏的虚化效果

4. 将FOV的差距拉的更开。目前iPhone的两个摄像头的FOV一个是78°和42°。光学变焦原理的计算公式是：Tan(广角 FOV/2) / Tan(长焦 FOV/2)所以iPhone 7 Plus的放大倍数为2.1倍。長焦的FOV没办法再小了可以将广角的FOV做的更大，比如87.7°。这样放大倍数可以做到2.5倍的放大倍数

其实这些年Apple的保密工作做的非常差，iPhone 7 Plus 做什麼样的双摄今年上半年很多厂商都已经猜到了。所以明年上半年的旗舰机都会从今年下半年的暗光增强变成光学变焦原理上述四种方式都有可能采用。虽然这次Apple并没有实现真正意义光学变焦原理相信2017年的iPhone 8 会带来更好的双摄效果。明年到底是国内的双摄效果更好还是iPhone 8的雙摄效果好不重要ICshare只是希望各家都能带来更好的双摄，推动双摄的发展

Apple双摄对产业链的影响

此次Apple采用的双摄的模组厂是LG。虽然大陆的舜宇和台湾的光宝都有成熟共基板设计的双摄模组并在Huawei P9上广泛使用，但是还是无法达到Apple对于双摄中光轴角度的要求是在0.35μ的要求。而据说若做到这一点曾经的Apple供应商，台湾的Primax才能做到不过不管怎么样，随着各个机型都开始需要双摄大陆和台湾的模组厂都是加强模组厂嘚AA（Active Alignment）制程的工艺，也就是提高双模组装配时两个模组相对位置的一致性和准确性。目前这一块国内做的比较好的就是舜宇信利，欧菲光和丘钛微

而双摄的普及，对拥有双摄算法的公司如：Altek，CorePhonicsArcsoft，X-ChipWestAlgo也提出了更高的要求，需要开发出更好更难的双摄算法

影响最大嘚则是Camera Sensor公司，双摄像头使得整机使用Camera从2颗变成3颗目前能做出Dual Pixel sensor的公司只有Sony 和 Samsung，其他主要的Sensor供应商GalaxyCoreOV。据TRI的预测今年双摄将占全球智能手機出货量的2.4%，明年预计在5%以上这对这些Camera Sensor供应商的备货都会有很大的影响。

另外Pokeman GO AR游戏火爆流行，以及视频直播时实时的更换背景或加虚擬人物的需求都对摄像头提出了很多高要求。而双摄的成熟会对这些需求变得非常简单以后智能手机不仅双后摄，还会有双前摄的需求这都会对Camera Sensor 厂商和模组厂商带来很多利好消息。

补充：双Camera都能做什么 这两年手机的亮点越来越少，高端智能机现在基本都不再去比拼雷兔兔而开始PK拍照性能。于是乎这两年各家纷纷开始做起了双Camera。

那问题来了双Camera到底能做什么？

1、双Camera可以测距所以可以做距离相关嘚应用

如上图，由于双Camera通过算法可以判断被摄物体的距离，所以通过此特性很容易做出一些特效，如：

单反相机最出众的特色之一就昰大光圈由于双Camera可以测出不同被拍摄物体的距离，对需要进行大光圈的物体对准其他不同距离的物体虚化，可以轻松实现大光圈的效果

（以美女为中心对焦，虚化背景和受伤的蘑菇）
（以蘑菇为中心对焦虚化背景和美女）

由于可以测量距离，可以将被拍摄物体里的主体提取出来更换背景，就可以比PS还简单进行抠图。

由于可以测量距离分出主题和背景，所以很容易对背景做任何处理就不在这裏过多描述。

这个图就非常明显的标识出不同物体的距离这个距离信息用不同颜色标识出来。当AP获得了不同物体的距离信息就可以做箌上述的各种功能。

若两个Camera的FOV不一样一个大FOV，一个小FOV再通过算法实现两个光学镜头之间的效果，就可以轻松做到光学变焦原理

若不鼡双Camera，放大图片后文字不清楚

若使用双Camera，放大图片后文字依然清楚

此图就是融合了广角的图和长焦的图，通过算法算出了中间态度照爿让细节不失真。

3. 暗光效果增强 这个一般使用彩色+黑白的摄像头通过黑白摄像头 获取图片的光亮强度，来对图片暗光补偿

不同于一般的3D电影的拍摄。手机上的两个摄像头无法在图像的拍摄过程中就产生足够的视觉差这是由于两个摄像头中间的距离和人眼不一样。而苴为了能够让人们更明显的得到3D视觉效果所以往往需要算法进行增强。

由于可以测出距离后续的双Camera不仅仅可以实现3D摄影，还可以进行3D建模到这个时候，我想双Camera的重要性则会更加重要

其他的效果增强，比如HDR提高分辨率，这些功能其实单Camera也可以实现只是双Camera可以让效果更好，就不一一列举了

总结： 目前来看，这几个功能是双Camera手机最常见的功能背景虚化/更换，暗光效果给用户带来了更多的拍照效果光学变焦原理则让我们感受了变焦功能的相机功能。但个人觉得未来最让人激动的则是3D功能

今年VR这么火，VR的素材哪里来还是得靠双Camera算法的优化。若3D拍照和建模的算法成熟后将会让双Camera 变得更加流行。

作者： ICShare 创始人手机行业十余年老兵

【关于转载】：转载仅限全文转載并完整保留文章标题及内容，不得删改、添加内容绕开原创保护且文章开头必须注明：转自“ 半导体行业观察icbank ”微信公众号。谢谢合莋！

【关于投稿】：欢迎半导体精英投稿一经录用将署名刊登，红包重谢！来稿邮件请在标题标明“投稿”并在稿件中注明姓名、电話、单位和职务。欢迎添加我的个人微信号MooreRen001或发邮件到 jyzhang@moore.ren

在iPhone 7 Plus上市前智能手机领域支持光學变焦原理的手机就不是啥新鲜玩意儿了，只是苹果的介入刺激了光学变焦原理功能在智能手机领域的普及这不，继华为Mate 9、金立M2017之后茬CES上又出现了支持光变的手机：华硕ZenFone 3 Zoom。

智趣狗去年曾解读过智能手机是如何实现光学变焦原理的原理（）

看着越来越多的光变新机小编覺得应该再帮大家梳理一下，2017年光变手机的几种实现手段

物理位移的变焦已成过去时

去年，华硕推出的Zenfone Zoom就主打3倍光学变焦原理其原理昰在11.95mm厚度的机身里塞进了二次反射潜望式的镜头模块，内部的10枚镜片则呈“凹”字排列凹字两个顶点分别对应镜头和传感器，而中间下凹的横线处则排列着可横向位移实现变焦的光学镜片这些镜片则通过边缘的两次折射最终让画面得以“传输”。

换句话说Zenfone Zoom的光学变焦原理方式和我们熟悉的DC类似，都是利用镜片的物理位移实现的放大拍摄效果

原本以为Zenfone Zoom的下一代产品还会延续这种潜望式的光学变焦原理技术，毕竟它的效果真的很不错可惜，华硕最终还是放弃了这种方案ZenFone 3 Zoom改用了和苹果iPhone 7 Plus一样的双摄技术。

原因很简单啊，潜望式这种物悝结构的光学变焦原理摄像头模块不仅成本高而且很占地方。现在8mm的手机都嫌厚你还能接受10mm以上厚度的手机存在吗？

2017年的手机怎么“變”（焦）

先来看看最取巧的摩托罗拉Moto Z的后续型号应该还会延续模块化（Moto Mods）概念，哈苏摄影模块还有用武之地实现10倍光学变焦原理的能力。不过去年Moto Z卖得似乎并不好，希望联想今年能想办法降低Moto Mods设备的价格吧毕竟用过Moto Z的童鞋都觉得不错，就是嫌它太贵了

摩托罗拉Moto Z囷哈苏摄影模块

啥？你不知道Moto Z赶紧点击《》补课吧！

再来看看华为Mate 9系列，它算是光变手机中的一个异类是通过两个不同像素摄像头的配合，获得了2倍变焦能力其原理类似于诺基亚808 PureView无损变焦方式：利用2000万像素的黑白摄像头拍摄的信息，进行1200万像素的裁切获得1200万像素级別的“无损”变焦。

没错Mate 9的变焦是通过软件算法实现的，理论上任何采用高像素黑白摄像头+（相对）低像素彩色摄像头设计的手机都能實现感兴趣的童鞋不妨看看《》这篇文章。

金立M2017变焦原理

最后就是和iPhone 7 Plus同一战线的队友了比如金立M2017就内置1200万像素普通镜头+1300万像素长焦镜頭，通过切换到后者的形式获得了2倍光学变焦原理的能力感兴趣的童鞋可以参考《》这篇文章哦。

华硕最新推出的ZenFone 3 Zoom也是一样它采用的昰1200万像素、光圈f/1.7、25mm广角主镜头，以及另外一个1200万像素、56mm的专用镜头可以迅速达成2.3倍光学变焦原理，摄影者可针对不同的拍摄主体和焦距赽速选择适合的镜头

类似Moto Z的模块化没有通用性，所以咱们暂不考虑

华为Mate 9的变焦是通过软件算法实现，或多或少都会有一些画质损失

臸于iPhone 7 Plus、金立M2017和ZenFone 3 Zoom，这些产品则都是通过两个摄像头的“交接班”获得了2倍变焦其中的“变”焦并非镜头位移，只是负责拍照的摄像头从A变荿了B而已

问题来了，上面的三款产品都是广角主镜头+长焦辅镜头其中主镜头素质最高，辅镜头素质一般只是可以将景物拍的更大而巳，在照片亮度和细节上都会有所损失无法与真正的（由主摄像头进行）2倍光学变焦原理相比。换句话说它们都只能算是2倍无损变焦洏已。

别泄气无论哪一种双摄变焦方案，都要比以前一颗摄像头进行数码变焦的成像效果更高这就足够了，不是吗

那么，就2017年的光學变焦原理手机而言你更期待哪一种呢？

1.不怕机器厚就要类似Zenfone Zoom的真光变镜头

2.喜欢Mate 9的黑白+彩色模拟的2倍变焦方案

3.广角+长焦双镜头才是王噵！

4.比较期待类似Moto Z的模块化相机设计

5.今年没年终奖，表示谁便宜买谁~

  由于双摄技术的快速发展目前巳经衍生出了几种不同的双摄硬件和算法配置解决方案。不同手机厂商可能有不同的双摄配置比如华为荣耀P9采用的就是黑白相机+彩色相機的硬件配置，而iPhone 7 plus采用的就是广角+长焦的配置此外，随着技术的演化同一厂商也可能推出多种不同的配置。比如华为2014年底推出第一款双摄手机是荣耀6plus，后置两个相同的彩色相机平行排列2016年推出的年度旗舰产品荣耀P9则是黑白相机+彩色相机的配置。

 因此介绍原理之前先对目前双摄的配置进行粗糙的分类。双摄手机一般包括一个主摄像头和一个辅助摄像头根据不同的应用需求和侧重点，目前双摄手机通常有以下几种不同的组合形式：

1、彩色相机 + 彩色相机（RGB + RGB）主要用于计算景深，实现背景虚化和重对焦

2、彩色相机 + 黑白相机（RGB + Mono）主要提升暗光/夜景影像拍摄质量

3、广角镜头 + 长焦镜头（Wide + Tele），主要用于光学变焦原理

4、彩色相机 + 深度相机（RGB + Depth）主要用于三维重建

以上1、2、3的组匼本质上是一种“叠加”。即把两个镜头拍摄的图像叠加融合来达到提升拍摄质量、背景虚化、光学变焦原理等功能。这种应用双摄像頭拍摄的图像差距越小越好这样算法进行“叠加”的时候才能更精确。理论上两个摄像头离的越近越好目前大部分双摄手机都是基于這样的配置，两个镜头之间的基线（两个镜头的间距）很短一般都是10mm左右。而人类双眼的基线均值是64mm相比之下目前的双摄手机基线太短，只能计算较近物体的景深（浅景深）

1、彩色相机 + 彩色相机

单反相机让人为之着迷的一点便是通过调整不同光圈值，拍出如梦似换的褙景虚化效果我们知道，单反相机通过增大镜头光圈可以缩小拍照时的合焦范围如下图，黑色的小人代表了拍摄的清晰范围当采用較大光圈时，只有在对焦点附近的小人是清晰的对焦点前后的小人都被模糊掉了。

为了模拟这种虚化效果双摄手机利用人眼三角定位原理来计算被摄物体距离摄像头的距离Z。如下图所示

得到拍照场景中每一个像素点距离相机的远近后，通过算法保留对焦平面内景物清晰度将其余部分根据其相对于摄像头的远近距离进行模糊处理，就可以模拟出光圈虚化效果如下所示不同焦距对应不同焦平面。

来一張养眼的背景虚化图片吧：

虽然理论上可行但实际使用中，要想在不同场景下实现类似于单反一般"焦内锐利焦外奶油"的效果，让人物主体对焦锐利突出层次线条分明，还需要强大的算法保障（以后会介绍该领域的算法公司）

单反相机可以通过调节光圈大小，来改变照片的虚化程度双摄手机也可模拟单反相机调节光圈。通过重新调用照片中物体的景深信息可以实现先拍照后对焦的功能，实现之前呮有光场相机才能实现的重对焦功能

如下图是利用双摄手机处理得到的重对焦效果：

vivo x9官网的双摄介绍： 前置采用2000W索尼定制传感器 + 800W专业景罙摄像头

红米Pro官网的双摄介绍：1300 万像素后置相机 + 500 万像素辅助深度相机

上述两款手机官网介绍中副摄像头标榜为景深相机或辅助深度相机，其实并不恰当它们并非真的可以单独用来测量距离，其实只是普通的RGB彩色相机只不过对成像质量贡献很小，主要用于和主摄像头一起提供立体视差从而计算景深总结一下，景深信息实际是通过主副两个相机的视差共同计算的单个RGB相机是无法直接得到景深的。所以我個人认为红米pro和vivo x9在双摄的副摄像头宣传上使用了误导性的不恰当的术语。

提高暗光拍照质量一般有三种办法：延长曝光时间、提高ISO感光喥、增大光圈延长曝光时间会带来手抖的问题，于是手机厂商纷纷搬来了光学防抖；提高ISO感光度则必然会增加噪点影响画面纯净度在掱机体积和厚度限制下又不大可能再把传感器尺寸放大；手机光圈一般都是固定的无法调整。于是算法工程师们想到了借助黑白世界的力量

下面参考altek公司的一个简要的技术报告来解释一下该技术的原理。下图是一个简要的算法流程图

• 黑白和彩色相机拍摄的图像首先要保證图像同步和像素级对齐操作，通俗的说就是要保证两个相机在同一个时刻拍摄同一个场景下的物体由于两个相机之间有一定的距离，所以拍摄的场景虽然是同一时间但内容会有移位，所以需要根据两个相机交叠的部分来使得黑白和彩色图片中相同的像素一一对应这┅部分需要用到两个相机事先标定好的数据来做计算。相机标定可以简单的理解为测算两个相机的物理位置关系和相机本身的参数在此鈈多做介绍。

• 图像融合部分是可以加开关进行控制的根据不同应用的需要黑白和彩色图片都可以作为主要的融合参考，也可以分开使用

下面来看看为什么要把黑白图片和彩色图片进行融合，是否融合后1+1>2?

我们知道自然光是由赤橙黄绿青蓝紫等不同颜色组成的我们小时候玩的三棱镜就可以看到光的色散。如下图

我们日常生活中的数码相机，显示器、扫描仪等大部分显示或打印的颜色都是通过红（Red）、绿（Green）、蓝（Blue）三原色按照不同的比例合成的称为RGB颜色模型。这个比较容易理解

接下来介绍一个复杂一点概念：拜尔滤色镜。它其实是┅种将RGB滤色器排列在光传感组件方格之上所形成的马赛克彩色滤色阵列如下图，入射的自然光经过不同的拜尔滤色镜后就得到了相应的顏色

其中绿色占一半，红蓝各占四分之一这样的设置是因为人的眼睛对绿色最敏感。最终每个像素点的颜色信息是经过插值处理得到嘚插值的方法有很多种，最简单的一种就是线性插值比如下图位于九宫格的绿色像素点G，它的RB值是通过周围四格的平均值得到的

对於红色像素点R或蓝色的B，插值的方法会稍微复杂一些在此不赘述。

而黑白相机没有拜尔滤色镜所有的光都入射进来（下图右下角），所以和具有拜尔滤色镜的彩色相机相比可以获得更大的进光量光学传感器的灵敏度也更高。因此黑白相机相对彩色相机图像更加明亮，细节信息能够保留的更好下图左下角是彩色相机的信噪比SNR（全称Signal Noise Ratio，可以理解为有用信息和噪音的比值越大越好）。右侧是彩色、黑皛图像融合后的结果可以看到，融合后信噪比明显提升了

综上，由于黑白相机的细节更丰富、信噪比更高等优势以黑白图像作为基准和彩色图像进行融合后，图像的整体效果会有比较明显的提升（尤其是在暗光环境下）

下图可以直观的看到黑白+彩色的双摄模式在提升细节方面的效果。下图中间是左边彩色图像和右边黑白图像融合的结果可以明显的看到，细节更加清晰图像质量更好。

下图可以直觀的看到黑白+彩色的双摄模式可以显著提高暗光场景下的图像亮度，减少噪点显示其在夜景拍照上的独特优势。

360手机奇酷旗舰版、华為荣耀P9

先来看看什么是光学变焦原理吧。

光学变焦原理镜头通常是由多组独立的凸/凹透镜组成的有的透镜是固定的，有的是可以沿光軸前后滑动的复杂的变焦镜头可以包含多达三十多个独立的透镜以及多个移动部件。

虽然变焦镜头的组成比较复杂但是可以按照功能劃分为两部分：无焦变焦系统（ afocal zoom system）和聚焦透镜（focusing lens）。如下图所示

变焦的功能主要通过改变无焦变焦系统来实现，它由多个固定的和可移動的透镜组合而成但是并不进行聚焦，它通过改变光束穿过透镜的位置来达到变焦的目的以三个镜头为例进行说明。下图中L1L3是凸透鏡，用来汇聚光线L2是凹透镜，用来发散光线其中L3是固定的。L1L2是可以沿着光轴移动的，这种移动非常微小一般通过齿轮凸轮等传统嘚机械传动方式实现，或者更高级的私服系统来实现下图中L2透镜从左向右移动，靠近L3同时L1透镜先向左移动再向右移动。从图中可以看箌这种组合移动的结果放大了透镜组的视场角从而改变了整个透镜组的焦距。

如果有点蒙圈参看下面这个简化版的变焦动态图，可能哽容易理解

说到了光学变焦原理，不得不提一下数字变焦

zoom）有着本质的不同，可以简单的认为数字变焦为“假变焦”为什么说它假呢？粗糙的类比一下数字变焦相当于你把照片放在一个图像编辑软件里，裁掉周围的一部分图像然后把剩下的一部分放大。所以你看数字变焦仅仅是一个类似放大的效果，并不能真正的起到变焦作用所以数字变焦的结果通常噪点较多，图像比较模糊下图是光学变焦原理和数字变焦的直观对比：

一直以来绝大多手机对于变焦（或者说远距离拍摄）的需求，都是通过严重压缩画质的数字变焦来完成洇此光学变焦原理是目前用户对于手机拍照功能的主要诉求点之一。但如前面所述变焦镜头非常依赖于光学透镜的组合设计，因此想在單摄像头上实现光学变焦原理对于手机摄像头模组的厚度、复杂度和整体外观设计带来巨大的挑战限于手机机身厚度，想做出不伸出机身外的变焦摄像头几乎不可能

但是老话说的好，条条大路通罗马何必吊死一棵树。单镜头既然不行用两个镜头是不是可以呢？

双摄潒头的理论基础就是把原本要求纵向空间的光学体系，在横向空间里宽裕的机身平面上铺开现今手机厚度已经不可逆转的向7mm甚至更薄發展，但横向看机背上与屏幕平行的平面的空间是足够的说白了，比起把镜头做得不突出机身在机背上多放几个镜头明显要更容易。

經过相机模组厂商和算法提供商的严苛研发和测试目前广角+长焦的双摄像头的组合变焦方案逐渐被业界广泛接纳。这其实是一种非常朴素的变焦思路：用两个焦距不同的摄像头搭配宽视角的广角镜头可以“看”的很广，但是“看”不清远处的物体而窄视角的长焦镜头雖然“看”的范围不大，但是“看”的更远更清晰广角和长焦镜头组合搭配，在拍照时通过镜头切换和融合算法就能实现相对平滑的变焦法子虽然笨点，效果的确不错高像素的长焦镜头能保证广角镜头因变焦而损失的图像信息远低于单摄像头的假变焦，从而大幅提高掱机的变焦性能该组合方式可以得到较好的光学变焦原理体验。下图是广角+长焦的融合效果：

LG G5后置摄像机有两个主摄像头1600万像素，视場角78°，f/1.8大光圈暗光拍照效果比较好；辅摄像头800万像素，具有135°的超广角，这个是LG G5的杀手锏LG G5的光学变焦原理方案就是在拍照时切换不哃的镜头来实现光学变焦原理。但是这个135°的镜头已经算是鱼眼的范畴，它拍摄的图像边缘会出现畸变，并且还不是大家印象中鱼眼镜头那种由画面中心到四周均匀的光学性畸变，而是中间大部分画面正常而四周部分跳跃性的出现畸变。如下图所示

LG G5拍摄图片，跑道可以看出橫向上明显的不规则畸变

相比之下后来者iPhone 7 Plus的配置更为合理。iPhone 7 plus的双摄像头升级是iPhone问世以来在摄像头方面最大的一次飞跃

• 广角镜头：1200 万像素，?/1.8 光圈焦距28毫米

• 长焦镜头：1200 万像素，?/2.8 光圈焦距56毫米

• 2 倍光学变焦原理；最高可达 10 倍数码变焦

通常来说焦距在85mm至300mm区域内的才可称为長焦镜头，而iPhone 7 plus的长焦镜头焦距只有56mm只不过焦距比28毫米的镜头多了一倍，不过苹果也将其称为长焦镜头

iPhone 7 plus的镜头组合并不像LG G5那样极端，可鉯避免出现边缘畸变如下图左边是iPhone 7 plus广角相机拍摄的图片，右边是其长焦相机拍摄的图片：

这种广角+长焦镜头的光学变焦原理方案有什么問题呢下面来说一说。

这类双镜头搭配方案的光学变焦原理本质和单反相机不同，更准确一点的话应该称为双焦距。拿单反相机和iPhone 7 plus為例我们来分析一下它们的2倍光学变焦原理有什么不同。

单反相机上的2倍光学变焦原理镜头是可以实现无级光学变焦原理的，也就是鈳以实现1倍到2倍之间所有的焦距用数学语言来说，就是可以实现[1,2]区间内任意实数倍的光学变焦原理倍数这种光学变焦原理是平滑的。

洏iPhone 7 plus的2倍光学变焦原理实际是56毫米镜头在28毫米镜头数字变焦达到最远的时候切换到56毫米镜头，接过变焦的任务这样使用起来就像是整体咣学变焦原理能力提升了一倍。它是无法实现1倍到2倍之间的任意光学变焦原理的其光学变焦原理只能取1和2两个值。这种光学变焦原理方式并不“平滑”

那么就有人问了，为什么我使用iPhone 7 plus的时候感觉变焦很平滑啊溜溜哒。这是因为苹果公司一向非常注重图像处理算法，所以iPhone系列手机摄像头通常在硬件上不是最先进的但在拍照效果却一直非常出色。虽然iPhone 7 plus的双摄镜头光学变焦原理并非真正的平滑变焦但茬其强大的双摄图像处理算法的帮助下，实际使用时还是非常顺畅的并不会出现变焦挫顿，仍然可以实现比单摄像头好的多的变焦效果囷成像质量

首先来解释一下什么是深度相机吧。

顾名思义深度相机就是可以直接获取场景中物体距离摄像头物理距离的相机。根据原悝不同主要有飞行时间（TOF）、结构光、激光扫描几种方式（注：有些地方将双目立体视觉相机也列为深度相机的一种，它是单纯依靠算法计算得到的深度信息）目前使用较多的是TOF相机。目前主流的TOF相机厂商有PMD、MESA、Optrima、微软等几家其中MESA在科研领域使用较多；PMD是唯一在室内/外都能使用的TOF相机厂商，多用于科研、工业等各种场合；Optrima、微软则主要面向家庭、娱乐应用价位较低。

因为TOF相机使用的较为广泛在此主要介绍一下TOF相机的原理。

TOF（Time of flight）直译为“飞行时间”其测距原理是通过给目标连续发送光脉冲，然后用传感器接收从物体返回的光通過探测光脉冲的飞行（往返）时间来得到目标物距离。这种技术跟3D激光传感器原理基本类似只不过3D激光传感器是逐点扫描，而TOF相机则是哃时得到整幅图像的深度（距离）信息

TOF相机采用主动光探测，通常包括以下几个部分：

照射单元需要对光源进行脉冲调制之后再进行发射调制的光脉冲频率可以高达100MHz。因此在图像拍摄过程中，光源会打开和关闭几千次各个光脉冲只有几纳秒的时长。相机的曝光时间參数决定了每次成像的脉冲数

要实现精确测量，必须精确地控制光脉冲使其具有完全相同的持续时间、上升时间和下降时间。因为即使很小的只是一纳秒的偏差即可产生高达15 c m的距离测量误差

如此高的调制频率和精度只有采用精良的LED或激光二极管才能实现。

一般照射光源都是采用人眼不可见的红外光源

用于汇聚反射光线，在光学传感器上成像不过与普通光学镜头不同的是这里需要加一个带通滤光片來保证只有与照明光源波长相同的光才能进入。这样做的目的是抑制非相干光源减少噪声同时防止感光传感器因外部光线干扰而过度曝咣。

是TOF的相机的核心该传感器结构与普通图像传感器类似，但比图像传感器更复杂它包含2个或者更多快门，用来在不同时间采样反射咣线因此，TOF芯片像素比一般图像传感器像素尺寸要大得多一般100um左右。

相机的电子控制单元触发的光脉冲序列与芯片电子快门的开/闭精確同步它对传感器电荷执行读出和转换，并将它们引导至分析单元和数据接口

计算单元可以记录精确的深度图。深度图通常是灰度图其中的每个值代表光反射表面和相机之间的距离。为了得到更好的效果通常会进行数据校准。

下面来介绍一个经过高度简化的测距原悝

照射光源一般采用方波脉冲调制，这是因为它用数字电路来实现相对容易深度相机的每个像素都是由一个感光单元（如光电二极管）组成，它可以将入射光转换为电流感光单元连接着多个高频转换开关（下图的G1，G2）可以把电流导入不同的可以储存电荷(下图S1S2)的电容裏。

相机上的控制单元打开光源然后再关闭发出一个光脉冲。在同一时刻控制单元打开和关闭芯片上的电子快门。由光脉冲以这种方式产生的电荷S0存储在感光元件上

然后，控制单元第二次打开并关闭光源这次快门打开时间较晚，即在光源被关闭的时间点打开现在苼成的电荷S1也被存储在感光元件上。

因为单个光脉冲的持续时间非常短此过程会重复几千次，直到达到曝光时间然后感光传感器中的徝会被读出，实际距离可以根据这些值来计算

记光的速度为c，tp为光脉冲的持续时间 S0表示较早的快门收集的电荷， S1表示延迟的快门收集嘚电荷那么距离d可以由如下公式计算：

最小的可测量距离是：在较早的快门期间S0中收集了所有的电荷，而在延迟的快门期间S1没有收集到電荷即S1 = 0。代入公式会得出最小可测量距离d=0

最大的可测量的距离是：在S1中收集了所有电荷，而在S0中根本没有收集到电荷然后，该公式嘚出d= 0.5 x c × tp因此最大可测量距离是通过光脉冲宽度来确定的。例如tp = 50 ns，代入上式得到最大测量距离d = 7.5m。

影响ToF相机的测量精度的因素如下：

距離测量要求光只反射一次但是镜面或者一些角落会导致光线的多次反射，这会导致测量失真如果多重反射使得光线完全偏转，则没有反射光线进入相机从而无法正确测量反射面的距离。反之如果其他方向的光通过镜面反射进入芯片，则可能会发生过度曝光见下图。

在镜头内或在镜头后面发生多余反射会出现散射光如下图所示，散射光会导致图像褪色对比度下降等不良影响。所以要避免在相机囸前方有强烈反光的物体存在

前面说过，深度相机镜头上会有一个带通滤光片来保证只有与照明光源波长相同的光才能进入这样可以抑制非相干光源提高信噪比。这种方式确实能够比较有效地过滤掉人造光源但是，我们常见的日光几乎能够覆盖整个光谱范围这其中包括和照明光源一样的波长，在某些情况下（如夏天的烈日）这部分光强可以达到很大会导致感光传感器出现过度曝光。因此相机如果想在这种条件下正常工作仍然需要额外的保护机制。

电子元件的精度受温度的影响所以当温度波动时会影响电子元件的性能，从而影響到脉冲调制的精度前面说过一纳秒的脉冲偏差即可产生高达15 c m的距离测量误差，因此相机要做好散热这样才能保证测量精度。

那么TOF相機最后输出的是什么呢

TOF相机内部每个像素经过上述过程都可以得到一个对应的距离，所有的像素点测量的距离就构成了一幅深度图如丅图所示。左边是原图右边是对应的深度图。

可以看到深度图其实是一张灰度图它是一张三维的图：水平垂直坐标对应像素位置，该位置的灰度值对应的是该像素距离摄像头的距离所以深度图中的每个像素可以表示空间中一个点的三维坐标，所以深度图中的每个像素吔称为体像素（voxel）

当我们获得了深度图后，下一步就是要把深度信息融合到普通RGB相机拍摄的彩色图片这一步并非我们想象的那么容易，需要强大的算法来保障在此列举两个因素为例进行说明：

1、深度相机的分辨率目前还比较低，一般都是VGA（640 x 480）以下而现在普通的RGB相机汾辨率都已经到千万像素级以上了，是深度相机分辨率的几十倍甚至上百倍因此需要将低分辨的深度图变成和RGB相机一致的高分辨率，这種“从无到有”的分辨率提升需要利用彩色图中物体的纹理、边界等内容信息这个过程要想保持细节是比较困难的。

2、深度相机和彩色楿机融合时还需要知道两个相机的畸变系数、光学中心、相对旋转/平移量等一系列参数这就需要对两个相机进行相机标定工作。而深度楿机的低分辨率对于相机标定工作也是一个较大的挑战

读者可能会有疑问，现在双摄手机上的两个普通的彩色相机不就可以计算深度吗和这个深度相机测距有何不同？

双目立体视觉测距的原理和人眼类似通过计算空间中同一个物体在两个相机成像的视差就可以根据如丅三角关系计算得到物体离相机的距离：

但是说起来容易，算法实现比较困难双目立体视觉测距算法的核心就是寻找对应关系。可以理解为给定一个相机拍摄的图片中的任意一个像素点如何在另外一个相机拍摄的图像中找到和它对应的像素点，这个过程需要特征提取、特征匹配等一系列复杂的算法但是由于光照变化、光线明暗等外在因素的影响，拍摄的两张图片差别可能比较大这会对特征匹配算法提出很大的挑战。如下图是在不同光照条件下拍摄的图片：

另外如果拍摄的物体缺乏纹理和细节（比如拍摄一张白纸）的话，也很难进荇特征匹配这些都对算法的鲁棒性提出了很大的挑战。

虽然TOF相机和双目立体视觉都能实现测距的功能但是它们还是有很大不同，在此峩做了了简单的表格如下：

简单的说一下结构光测距的方法吧！

结构光技术就是使用提前设计好的具有特殊结构的图案（比如离散光斑、條纹光、编码结构光等）然后将图案投影到三维空间物体表面上，使用另外一个相机观察在三维物理表面成像的畸变情况如果结构光圖案投影在该物体表面是一个平面，那么观察到的成像中结构光的图案就和投影的图案类似没有变形，只是根据距离远近产生一定的尺喥变化但是，如果物体表面不是平面那么观察到的结构光图案就会因为物体表面不同的几何形状而产生不同的扭曲变形，而且根据距離的不同而不同根据已知的结构光图案及观察到的变形，就能根据算法计算被测物的三维形状及深度信息

业界比较有名的就是以色列PrimeSense公司的Light Coding的方案，该方案最早被应用于Microsoft的明星产品Kinect上目前该公司被苹果公司收购，可见苹果公司也将在深度相机领域有所动作

结构光技術受环境光源影响较大，更适合室内的应用场景而且帧率较低，所以更适合静态场景或者缓慢变化的场景其优势就是能够获得较高分辨率的深度图像。

下表是双目立体视觉、结构光、TOF三种可以测量深度（距离）的技术方案综合比较：

从上述的对比分析来看TOF方案具有响應速度快，深度信息精度高识别距离范围大，不易受环境光线干扰等优势因此想要在移动端直接实现深度的测量，最有竞争力的就是TOF方案了

目前可以买到的具备直接深度测量的智能手机只有Google和联想合作的联想Phab 2，2016年11月推出是全球首款支持Google Project Tango技术的手机，其深度相机采用TOF技术方案由PMD公司提供。

据说iPhone8也将会使用深度相机果然收购PrimeSense公司是有目的的，我们拭目以待

深度相机的应用范围非常广泛：比如未来幾年将会迅速商业化的手势识，以及活体人脸识别、空间测距、三维重建、AR(增强现实)等领域

TOF深度相机可以将人脸、身体、手臂、手指从褙景中分离，并且这种分割置信度较高不受自然光变化的影响，同时能够实时性处理所以这将在智能交互领域大有用武之地。预计最菦几年会迅速进入消费级电子产品中

2、真实的AR游戏体验。

如下图是Phab 2的AR游戏展示由于在二维图像中融合了实时的深度信息，所以AR游戏的體验比较真实比如虚拟出来的一只猫，通过实时的空间深度感知它可以“感受”到空间的相对位置关系，当它走到桌子边缘的时候會很自然地跳到地面上，这在之前的AR游戏中是难以实现的

由于能够实时获得深度信息，所以实现三维空间测量也是顺其自然的比如在室内装修领域，可以方便的将各种虚拟的家具以真实的尺寸摆放到现实环境中用户拿着手机就可以体验家居放在室内的360°真实效果，这无疑将是一个令人激动的应用场景。

可以用于三维物体和k建模和机器人视觉导航和定位。比如你看到一座非常喜欢的雕塑就可以利用手機上的彩色相机+深度相机对它扫描一周，结合相应的算法就可以生成该雕塑的三维模型数据利用三维打印机就可以方便的打印出一个三維的雕塑复制品出来。

5、更广泛的其他应用

融入了深度信息的三维影像可以用于活体人脸识别，避免传统二维人脸识别的安全隐患；可鉯更加方便进行人体三维测量从而推动虚拟在线试衣行业的发展等。

随着深度测量技术的发展必然还有出现更多有趣的应用场景。