产品中心

一文读懂双摄像头工作原理

发布时间:2021-08-24 08:21

  手机拍照自功能机时代就已经成为人们日常经常使用的一个功能,自进入智能机以来地位更是被不断的拔高。注意力所在之地往往就是创新的迸发处,这一点在手机拍照上再恰当不过,无数的技术越来越多的被应用到手机拍照上:3D拍照、背景虚化、光学变焦、光学防抖、双核对焦...以及越来越大的光圈和传感器尺寸等等,每一项技术都对手机拍照无论是照片质量还是整体体验都有非常大的提升。但,“仅仅”就这样了...

  于是就是近两年火遍天的“双摄”了。如果说11/12年的LG Optimus、HTC EVO 3D属于手机“双摄”的萌芽时期,14/15年的荣耀6 Plus、奇酷旗舰版等属于“双摄”的探索/发展期,那么16/17年iPhone 7 Plus、华为P10、vivo Xplay6、小米6、OPPO R11、nubia Z17、一加5们一个个问世代表着手机“双摄”的正式普及和成熟。也昭示着手机“双摄”时代正式来了。

  现在,似乎人人都在讨论“双摄”。手机发展的一个趋势就是轻薄化,7mm逐渐成为手机薄厚的一个标杆和分水岭。要想在如此轻薄的手机上追求更高的成像质量,即使有前面提到的技术加持,而受制于传感器尺寸和镜头素质(这两项直接决定了手机的成像质量),如同政治上所讲的的主因和次因,因此即使单摄像头参数很好,也依然会有高感表现差、背景虚化不到位、特写不足等等问题。这时候,在一颗摄像头的基础上再加入一颗,以此来提高手机整体拍照质量便成了新的突破口。

  其实双摄像头的理论基础就是把原本要求纵向空间的光学体系,在横向空间的平面上铺展开来。这样即达到了成像水平,也不会使摄像头突出影响手机整体的美观。目前,主流双摄像头的功能主要可以分为两大类:1、利用双摄像头产生立体视觉,获得影像的景深,利用景深信息进行背景虚化,3D扫描,辅助对焦,动作识别等应用;2、利用左右两张不同的图片信息进行融合,以期望得到更高的分辨率,更好的色彩,动态范围等更好的图像质量或实现光学变焦。这两大类大致可以分为4点:1、通过双摄测距,可以进行距离相关的应用,这方面目前应用最广泛的就是背景虚化;2、光学变焦;3、暗光增强;4、3D拍摄及建模。其中每一点展开来都是一大篇幅,在这里就不做过多赘述。

  那么问题来了,双摄像头的工作原理究竟是怎样的?虽然都是两颗摄像头,但是不同的手机,主摄像头和副摄像头的工作原理却有很大的不同。目前,双摄手机工作原理主要有以下几种:1、彩色+彩色摄像头(RGB+RGB),优势在于可以计算景深,从而实现背景虚化和重新对焦(即先拍照后对焦);2、彩色+黑白相机(RGB+Mono),优势在于可以提升暗光或夜晚手机成像质量;3、广角+长焦镜头(Wide+Tele),这个组合最大优势在于可以实现光学变焦(目前大多数主流手机厂商采用的双摄原理);4、彩色+深度相机(RGB+Depth),可以实现三围重建等。前面提到的双摄的功能就是通过这四种组合实现的。

  四种中,彩色+黑白相机(RGB+Mono)和广角+长焦镜头(Wide+Tele)两种应用的最广泛,两种双摄的代表分别是华为P9/10系列、Mate 9系列和iPhone 7 Plus、OPPO R11系列以及小米6等。今天我们首先就先来讲讲目前被广大厂商所认可和采用的广角+长焦镜头的双摄方案,例子就已这其中的代表iPhone 7 Plus和当下最火手机之一OPPO R11。

  前面提到,广角+长焦镜头组合带来的最大优势就是可以在手机上实现光学变焦。光学变焦(Optical Zoom)其实是相机上的一个名词,它是通过改变光学镜片组结构来改变镜头焦距,从而实现变焦。但是镜片组结构复杂,整体尺寸无法安置于手机中。而此前的手机如果想要放大图片,方法是后期对图片进行裁切然后将一部分放大,这样做的后果是图片内的每个像素面积就会增大,图像的画质就会被严重压缩。而广角+长焦双摄则解决了这一难题,在手机中实现了光学变焦。

  广角+长焦双摄的光学变焦在于左右摄像头拥有不同的可视角,这样两个摄像头就会有不同的取景范围。当想要拍摄广角照片时,可以使用左摄像头取景。如果想要长焦照片,则用右摄像头取景,获得长焦效果。通俗点说,即广角镜头取景更宽更广,但是取不到远处物体;而长焦镜头虽然取景比较窄,但是能“看”的更远。这样,广角和长焦镜头组合搭配,在拍照时通过镜头切换和算法来实现比较平滑的变焦。

  以iPhone 7 Plus为例,其采用了1200万像素、28mm焦距的广角镜头+1200万像素、56mm像素的长焦镜头,通过28mm广角和56mm长焦摄像头的切换来实现2倍无损变焦。虽然还无法达到单反相机上的无级光学变焦,但是目前在手机上已经是绝对的领先方案了,OPPO R11、小米6、一加5等采用了同样的方案。

  接下来再说说OPPO R11,其采用了1600万+2000万像素摄像头的广角+长焦的解决方案,拥有f/1.7的超大光圈,支持2倍光学变焦和10倍的数码变焦。在这里可能很多人会有疑问,即为什么长焦镜头像素会比平时主要使用的广角镜头像素要高?这在于广角镜头在变焦时会损失图像信息,此时高像素的长焦镜头就会进行弥补,从而保证手机成像质量并提高手机变焦性能。

  此外,广角+长焦双摄还会根据所拍摄的环境光线等决定使用哪一颗摄像头进行拍摄。简单说,当光线良好时,通常会使用副摄像头,当光线不佳时则会使用主摄像头。这在于,主摄像头拥有更好的性能,在弱光下在保证画面亮度下还能很好的控制噪点,这也是为什么一般在采用广角+长焦双摄方案的手机主镜头光圈都比副摄像头光圈大的部分原因所在,如OPPO R11,主摄像头光圈f/1.7,副摄像头光圈f/2.6;iPhone 7 Plus主摄像头光圈f/1.8,副摄像头光圈f/2.2。这还解决了另一个问题,即前面拿iPhone 7 Plus为例时提到,广角+长焦双摄手机的光学变焦是通过在广角和长焦两个镜头之间的切换实现的,因此如果此时你用手挡住副摄像头即长焦镜头,当从广角切换到长焦时,长焦镜头就会进行检测,发现此时环境较差从而切换回广角镜头,因此会发现在挡住长焦镜头的情况下变焦依然可以实现。

  到这里,相信大家已经对于双摄以及广角+长焦双摄的原理应该有了一个大致的印象,在经过了野蛮生长后,回到最终的体验上,拼的依然是厂家自身的研发实力和技术积累,若从拍照这方面来看,目前做的比较出色的要数苹果、三星和OPPO了。而双摄特殊性在于它影响的是手机的拍照,而并不像2K屏幕或者全面屏等可有可无,因为当单摄像头的创新无法再对手机成像有大的提升时,双摄就会显得至关重要,或者也可以说双摄是手机成像发展过程中所必须经历的一步。而以iPhone 7 Plus、OPPO R11为代表的广角+长焦的双摄方案目前是最成熟同时体验最出色的双摄方案之一。而就目前的成像成像体验来说,无论变焦还是虚化,都没有令人失望。对于手机拍照来说,没有什么是一颗摄像头解决不了的,如果有,那就再来一颗吧。

  为什么大家都开始用双摄像头?这些年手机摄像头技术有了翻天覆地的变化,最早在我的诺基亚手机上200万像素的主摄像头已经让很多小伙伴羡慕不已。后来呢,手机拍照水平有了飞升,从800万,1300万到现在很多手机都用上了2000万像素的摄像头,而且还加入了大光圈,大像素等技术,已经有了很高的水平。

  大家想起来了当年HTC推出的双摄手机EVO 3D(不得不说HTC当年在手机行业也是做了不小的贡献),利用双摄像头来带给大家更出色的拍照效果。

  目前的双摄有三种,首先是黑白+彩色的组合,黑白的摄像头负责捕捉到更多的细节,能够让手机拍照的效果更加出色。第二种是彩色+彩色的组合,也是现在大多数手机采用的双摄组合,两个摄像头同时拍照,不仅能记录物体的景深数据,还能有双倍的进光量。另外一种是广角+长焦的组合,这也是iPhone 7 Plus等旗舰采用的摄像头组合。

  那么双摄有什么优点呢?双摄最明显的效果就是能有出色的背景虚化效果,能够将背景虚化掉,凸显出主体。

  另外,双摄还能让照片的效果更加出色。双摄像头可以捕捉到更多的景物细节,同时配合上大像素点和大光圈,能够实现更棒的照片的效果。同时,双摄还有更好玩的玩法,比如3D摄影,克隆相机等玩法,在努比亚Z17上都有很出色的表现。

  科技的发展当然有利有弊,双摄像头给我们带来更出色的拍照体验的同时,也会有弊端出现。首先,很多手机有支持了背景虚化功能,这时一些手残党就不可避免的把主体“虚化掉”了,还有在拍摄风景的时候,也经常把风景拍虚了。

  另外,有些手机的双摄在拍摄的时候对焦会很慢,最近我在用的一款使用双摄像头的手机的时候,就出现了拍照对焦很久才能拍好的情况。

  双摄现在这么流行,大家在选购手机的时候也要擦亮眼睛,有些手机的双摄像头可能只是个噱头,有些杂牌子的手机可能只是“长得像”双摄而已。目前一些旗舰手机的双摄效果已经非常不错了,大家在购机的时候可以试一试双摄给大家带来的全新体验。

  既然双摄有种种优点,为什么还有厂商没有推出双摄产品呢?比如索尼与三星。要知道,如今高端手机的摄像传感器已经近乎被索尼垄断了。索尼不可能是在硬件方面遇到了障碍。而三星在智能机拍照能力上的造诣更是了得,没理由不再进一步。

  我们能说索尼今年的旗舰产品Xpperia XZ Premium的拍照能力不足吗?显然是不能的。光是逆天的960fps摄影就已经证明了索尼的强大。事实上,索尼之所以没有选择双摄,在于索尼认为单摄的潜力还没有被压榨干净。目前双摄技术并非十分成熟,单摄在画质上完全可以同双摄一战。

  三星本年度旗舰Galaxy S8没有使用双摄,则应当是光学指纹模块的锅。从曝光的三星Galaxy S8的原型机就能看出。三星是研发了搭载双摄像头版本的Galaxy S8。但是,最终的市售版并没有搭载双摄,反而是将指纹识别模块放在了摄像头旁边。

  根据种种消息可以推断,三星本是有意推出双摄版本的Galaxy S8,但由于光学指纹模块出现问题,因此做出了妥协。好在,三星Galaxy S8的单摄效果十分优秀,与双摄手机相比也不落下风,依旧是目前安卓手机的拍照机皇。或许正应了索尼的看法,单摄的潜力还很大。

  同时在我们之前的这篇文章中,对比了这三台目前最强的旗舰手机后发现,其实三星Galaxy S8的单摄效果并不会被双摄的华为P10 Plus以及苹果7P拉开太多距离。

  特别是最能检验手机拍照性能的高低的弱光环节,即使环境非常恶劣,但三星Galaxy S8样张所带来的效果是很令人惊讶的。虽然高ISO带来的高噪点是很难避免的,但最起码能看清楚物体是什么,色彩明亮、通透、高饱和度,所以更讨好眼球。

  这有赖于Galaxy S8支持全像素双核对焦技术(Dual Pixel),图像处理器上的像素均拥有两个光电二极管,能够快速准确地对焦。因此整体表现最为出色、用时最少。

  从目前的实际情况来看,双摄同单摄相比,在画质上并未拉开较大的差距。对于专业的摄影爱好者,双摄可能会赋予他们更大的创作空间。但对于只是日常拍摄的普通消费者来说,着实不必过于在意。

  事实上,双摄真正的用武之地应当是AR。目前有消息称,苹果会在下一代iPhone中引入AR功能。当然,即使强悍如苹果,也未必能拿出完美的AR解决方案。只是,如果有苹果开始推动双摄AR方案,那这项技术的成熟,还会远吗?想来不久后,我们就能体验到双摄真正的美妙之处了。

  如之前文章介绍,双摄像头的应用主要分为:距离相关的应用,光学变焦,暗光补偿以及3D拍摄和建模。每种应用的原理都有些不同,我们就分别介绍一下相关的原理:

  人眼是很容易对一个物体的距离进行定位,但当人闭上其中一个眼睛后,定位能力就会下降很多。9 g& Q3 ], {8 x+ O, W/ R2 G( t

  简单的说,测距离的话,就是通过算法算出,被拍摄物体与左/右摄像头的角度θ1和θ2,再加上固定的y值(即两个摄像头的中心距),就非常容易算出z值(即物体到Camera的距离)7 M, X* ~3 l7 V! B3 _

  不过这也很容易推算,若两个摄像头中心距过小的话,可计算的物体距离就会很近。若想算出很远距离,就必须让左右摄像头的距离拉远。

  光学变焦主要是左右摄像头使用不同的FOV(可视角),这样两个摄像头取景不同。当用户需要广角照片,则用视角为85度的左摄像头取景,获得广角效果。当用户需要长焦照片,则用视角为45度的右摄像头取景,获得长焦效果。0 B1 b- B2 o& R6 H7 E# {2 g! A

  为了使左右摄像头拍摄的物体重叠度高,光学变焦的双摄像头模组不能像做距离应用的摄像头的模组那样距离过大,而是需要将左右摄像头摆得越近越好。/ N8 R H2 K+ W1 g; T% s

  其实第二篇的时候,小编已经简单介绍过暗光增强的原理。一般来讲,做暗光增强就是将两个摄像头一个用RGBG的标准摄像头,一个用去掉RGBG 滤波片的黑白摄像头。RGBG用来获得物体的色彩,而黑白摄像头用来获得更好的进光量,来判断被拍物体的光强强度。然后将两个图片融合即可获得更好的暗光增强。

  1. 以黑白图片为主体,将彩色图片上获取的每个像素的颜色贴至黑白图片上,将两种图片融合。

  2. 以彩色图片为主体,将黑白图片上获取的每个图像的光亮强度补偿到彩色照片上,将两种图片融合。

  至于哪种方式更合适做融合,可能仁者见仁智者见智,就不在这展开讨论了。; ? X. Y9 D2 r g6 ~: j. D! x

  同样,做暗光增强,为了让左右摄像头拍摄的物体重叠图高,此类双摄像头模组也是要求越近越好。

  当然有些业内人士也表示这种算法目前做的效果并不明显。暗光补偿对用户来的确很帮助,尤其拍夜景的时候。不过有些客户认为索尼和三星的Dual PD技术就非常好,更愿意用Dual PD 摄像头来做暗光补偿。

  3D拍摄和3D建模的算法其实跟距离应用有点类似,只是它的精度要求更高,甚至有时会需要用红外测距进行更准确的距离判断。在这里小编就不详细展开介绍了。* G0 }7 Y* F+ V

  提到双摄像头的算法,不得不提到ISP(Image Signal Processing 图像信号处理器),ISP主要作用是对前端图像传感器输出的信号做后期处理,主要功能有线性纠正、噪声去除、坏点去除、内插、白平衡、自动曝光控制等,依赖于ISP才能在不同的光学条件下都能较好的还原现场细节,ISP技术在很大程度上决定了手机的成像质量。l Q- ^( i) V4 q

  功能机时代,ISP都是做在摄像头上的,不同像素的摄像头搭配不同性能的ISP。随着手机摄像头像素越来越高,对ISP性能的要求越来越高,若将ISP集成到摄像头Sensor上,势必造成摄像头的模组过大,甚至影响拍照效果。所以智能机时代,ISP一般都是在主芯片SoC上。部分品牌客户为了实现更好的效果,甚至不惜成本的外加一颗ISP用来达到更好更专业的拍照效果。

  好的拍照算法就需要搭配好的ISP,ISP和算法相辅相成,缺一不可。而双摄像头对ISP性能要求更多。首先,为了使的左右摄像头的信号能够同时被处理,单一的ISP已经无法满足双摄像头的需求。这就需要双路ISP实现此功能。* l% Y: z. U: G+ ?- } `( F o

  以暗光增强为例,彩色/黑白图像分别进入各自的ISP通道和校准通道,然后将两副图片做匹配(如将两幅图片相同的部分提取出来,去除只有一个摄像头拍到的部分),然后通过遮挡,检测,补偿等算法 处理相关的图片。最后将两幅图片融合起来,实现颜色的增强。当然实际上ISP配合算法做的事情,远远比这图片上写的要多。小编实在不知道,就不在这误导大家了。

  当然,在这里面也有一个小小的插曲。毕竟是两个ISP,两个ISP多少有一些处理速度,处理能力不同的问题。为了保证两个ISP能在同一时间上取样,就需要双摄像头拍出来的图片是同一时间拍出来的。其中一个解决办法就是让Sensor有一个同步信号引脚。将两个摄像头的同步信号对接,在每次读取图片时,将图片都打上一个时间戳,ISP通过时间戳,保证左右摄像头拍出来的照片在同一时间拍摄,最终再进行融合。

  一般来讲,目前的智能手机的摄像头接口都是MIPI接口。之前手机平台都只有2路MIPI接口,分别给前摄像头和后摄像头。做双摄像头,就要求平台至少支持三路MIPI接口。其实在之前的高端平台上,为了实现更高像素,已经用双路ISP了(比如为了支持16M的摄像头,会用2路8M能力的ISP),这类平台很有可能只有两路MIPI。但这个无法阻止工程师去做前单摄像头+后双摄像头。

  裸眼3D是最早的双摄手机功能,主要体现在支持3D视频的录制上,最具代表性的产品当然就是双摄手机的鼻祖HTCEVO3D和LGOptimus3D。其实很少人知道,后来LG还推出过一款升级版本Optimus3DMAX。

  HTCEVO3D和LGOptimus3D的双摄支持1080P的2D视频录制和720P的3D视频录制。LGOptimus3D的双摄还支持3D拍照,非3D屏幕下可以转换成红蓝照片并通过3D眼镜观看。不过现在看来,体验比较一般。

  可能国内用户最熟悉的双摄方案还是黑白+彩色,它是华为最开始倡导的方案。华为P9的黑白+彩色双摄,最主要的功能是通过综合两个摄像头拍摄出的照片来改善画质。当然它也附带了一些其他功能,例如黑白相机、大光圈模式等等。

  标准广角+长焦也就是现在常说的“变焦双摄”,是苹果iPhone7Plus采用的方案。其是由一个70多度的标准广角镜头和一个支持N倍光学变焦的长焦镜头所构成,前者为主摄像头,后者为副摄像头。

  目前市面上这类产品主要是2倍光学变焦,三星Note8据称会提供一种名为SmartZoom的功能,可实现3倍光学变焦,OPPO之前展示的潜望式摄像头则可以实现5倍光学变焦。

  标准广角很容易理解,就是普通的手机镜头,一般会搭配较大的光圈,适用于大多数的拍摄场景。而长焦镜头在需要变焦拍摄场景时会通过拍摄界面的开关进行切换,提供更深层的画面和更多的细节。

  标准广角+超大广角方案,又称“双广角”,是由一个70多度的标准广角镜头和一个100度以上(125度或135度)的超大广角镜头所构成,前者为主摄像头,后者为副摄像头。

  超大广角镜头的思路是和变焦完全相反的,它提供的是更宏观的拍摄画面和更多的内容,类似于GoPro的广角摄像头。超大广角运用得好能够拍出视觉非常震撼的画面,例如故宫等大型建筑的全貌。

  目前在手机行业只有LG一家采用这种方案,只能说品牌太小众,友商都不愿意借鉴。部分媒体将双广角方案归入上面提到的广角+长焦方案下面,其实这是完全错误的,具体区别有条件的同学可以自己去体验一下。

  主打背景虚化的双摄,其中主摄像头一般负责拍摄画面,另一个则负责联合ISP等硬件记录背景虚化。这类双摄特点是,主摄像头采用较高像素和高规格的CMOS,而副摄像头则相反,通常只有500万或者800万像素,CMOS素质一般。

  先拍照后对焦是早期双摄机型提倡的一大方案,也就是我们说的光场相机。它主要针对的是微距拍摄的场景,例如人物或者物品的特写。它允许用户在拍摄照片之后对画面拍摄物进行重新选择对焦。不过先拍照后对焦其实并非双摄的专利,通过算法即使是单摄机型也能实现,因此被后来的厂商所抛弃。

  3D感测和增强现实在双摄像头上的运用颇具未来感。联想和华硕两款主打AR的手机,其背后就专门提供了深度感知3D摄像头,通过其构建的相机系统,可对现实环境进行3D建模和测绘。AR手机在背部一般都会配备3个摄像头,但其中不同的两个摄像头综合使用可实现不同的功能,实质上也是双摄像头在作用。

  据称iPhone8将用上支持3D感测功能的摄像头,不过它的目的并非AR,而是为了面部识别。尽管市面上已经有一些支持面部识别的手机,但借助3D感测传感器配合摄像头,能够提供更加精确的识别效果。

  最后还有一些双摄手机的补充性功能,例如超级夜拍和夜拍提亮功能,可以改善拍摄的夜景照片画质。主副摄像头都支持HDR(高动态范围)和OIS(光学防抖),则可以增强拍摄效果和提供更稳定的拍摄体验。据说即将发布的三星GalaxyNote8就将支持双OIS。