浅科普 篇二:6000+字再谈手机拍照,方向对了的今天和明天
创作立场声明:全文禁止复制、不规范转载。需要授权、问问题可以私聊知乎@苏三公子。
哈罗,我是苏三AKA狗子。
阅读10分钟,码字4小时,看后不点赞,狗子两行泪
全文6000+字,建议先收藏关注再看哦。PC、APP端有目录可跳转。
之前写过这么一篇文章。
实话说,初期数据很一般。于是整个系列就被我砍掉了。
但是不知道为啥最近火了起来(现在值得买的推荐算法奇怪的一批)
甚至还被不规范转载(or 盗文)到了酷安。
于是本着纠错补新的想法重新来写一篇。
全文灰色(就这样)的地方是引用上一篇文章的内容。
虽然上文有部分错误,不过还是建议先阅读上文,本文主要将会探讨当今和近期手机摄像的发展。
一、底
在上一篇文章里曾经介绍过,底指的是CMOS的对角线尺寸,因此一英寸的底尺寸应该是1/2英寸的4倍
因此我们先来看看目前的主流旗舰们的底有多大。
今年国内的主流旗舰基本也就这些,因此我们也能借此侧面看到各家在影像上投入的多少。
在统一分发的IMX586之后,索尼三星全都开始专攻独占CMOS,上一颗统一分配还要追溯到IMX686和GW1。
重看这张图,2020-2021除了中端的HM2是0.7微米单像素以外好像没有什么进步,不过这也意味着大底0.7微米距离我们已经不远了。
由于现在除了iPhone以外普遍使用4800万以上的高像素,所以QuadBayer和EnneaBayer也成为了绕不过去的坎。
目前来讲,32MP-64MP基本使用QuadBayer,四个相同颜色感光子像素通过Pixel Binning合成一个感光像素(只包含RGB中一种颜色)组成传统Bayer阵列后合成为一个像素。一亿像素除CC9Pro和小米10系使用QuadBayer以外使用EnneaBayer,9个。
比如这个HM2的显微图,我们可以看到每3x3个感光子像素为一组,他们最后会合成一个像素。
当然,HexaBayer16合1也早有使用(比如Mate的潜望长焦),不过不够普遍,在此就不再多说。
显然通过EnneaBayer合成也是有缺点的。
合成之后虽然解析力会高于合成后原像素的解析力(比如108MP9合1解析力高于原生12MP),但不管是合成前(全像素直出)还是合成后都不如原生全像素Bayer排列的解析力(EnneaBayer排列的108MP不管经不经过Pixel Binning合成为12MP解析力都不如Bayer排列的108MP)。这也是IMX586比GM1要好的原因之一。
总结一下,其实就是高像素方向对了,大底方向对了。
二、镜头
指的就是用于折光的凸透镜们。
一般来说有三个基础参数:镜片数量、阿贝数和镀层
第一个针对的是很常见的一个问题:边缘画质衰减和畸变。
凸透镜看相有形变是一件很正常的事情,比如一副远视镜,透过它会产生桶形畸变,近视镜(凹透镜)则会产生枕形畸变,且由于凸透镜聚光后光线角度随距离中心的位置不同而不同,边缘部分的感光能力也要略微差于中心部分。
而通过多个透镜的矫正叠加,能大幅度减少畸变带来的影响,并提升边缘处的画质。
而你在眼镜行业经常听到的渐进多焦点和非球面镜片在镜头行业一般也被称为自由曲面镜头,能更好的抵御畸变。
第二个则是提升整体画质的关键,阿贝数。
如果你配过眼镜,可能会注意过一般来讲树脂镜片的阿贝数普遍在30-40之间。低于30会对视力造成比较大的影响,被国家禁止,而阿贝数过高的对基材要求也很高,因此很难做出。
同时,阿贝数普遍随着折光率的增长而下降。
一般来讲,不考虑镜片重量的情况下,折光率低、阿贝数高,画面就会更清晰,这也是增多镜片数量之后才能享受的优点之一。
不过我们讲的都是树脂镜片,一般用塑料的首字母P代替,平时我们说7P,6P镜头就是指采用了7片或6片树脂镜片。
和树脂不同,玻璃的阿贝数一般来讲在70-80之中,且随折光率变化不明显,因此玻璃镜片是更好的选择。然而由于加工难度大、良品率低、重量是树脂镜片的数倍而难以驱动且造价高昂,现阶段主要还是应用于相机上。目前手机段除了小米和华为的部分镜头有所采用,并没有大规模的铺开。
第三个是镜头镀膜。
镀膜的品质一个是能降低片间反射,也就是鬼影产生的主要原因之一,一个是能些微的弥补阿贝数随时间温湿度变化带来的影响。目前这个领域蔡司T*镀膜应该就是王者了。
至于液态镜头,其实就是一种对焦方案。本意是加快对焦速度、提升对焦性能、减小体积,奈何目前技术不是很成熟,控制镜片形变的体积甚至要大于节省的体积,得不偿失。
三、ISP
众所周知,2019年绝大多数旗舰手机都使用了IMX586这颗CIS,镜头数量都是7p,但是应该没有人质疑小米9拍照比RedmiNote7Pro要好,这不仅是因为算法的原因——CC9Pro之前小MOV魅族等极为依赖虹软算法,更是因为ISP所带来的“感知差异”。
骁龙675使用了Spectra250L的ISP,而骁龙855使用了Spectra380的ISP,其中对于IMX586来说最明显的就是675只能支持MFNR多帧降噪,但是不支持ZFL零延时拍照和HEIF格式,所以48MP下拍照速度会慢一大截,存储性能也要低上不少。
除了高通已经标注在参数表里的,更直观的是色彩还原能力。由于Bayer架构4in1天生比QuadBayer要难(48MP下QuadBayer要更麻烦),Note7Pro的ISP的运算量可以说比使用GM1的Note7高上一大截。为了用户体验,很多厂家在这个时候便会降低计算精度,来保证拍照后回放的速度。
至于E大师说的只要有NPU,ISP可以不要,那就是纯属无稽之谈了。就凭这一句话,我就能判定他完全不懂手机,充其量是个极端花粉。
这部分其实和上一篇没有多大区别。
原因是骁龙这一年多中最大的改进就是把双核变成了三核,能同时处理三个摄像头的数据以实现顺滑变焦和多端同录了。
目前ISP的差距主要还是带宽和计算能力的差距。同性能的芯片可以理解为骁龙>=麒麟>=三星>>MTK。前三家旗舰级基本在同一水平,不过中低端的骁龙的ISP要更良心一些。可能是因为骁龙没有专用的NPU,只能用ISP加速的原因吧。
MTK是真的屑,想买拍照手机看到MTK就快逃就完事了。
四、对焦
在PDAF-Dual PD-PDAF-Dual PD的循环后,我们终于在GN2上见到了重装归来的DPD双核对焦Pro。
建议看一下三星官方的宣传视频:-戳我-
我截取部分说明一下。
最早的手机镜头对焦(反差对焦)其实方法就是一个字:试。
通过前后不断伸缩镜头确定镜头感光量差距最大的镜头位置。
也因此带来了在夜晚等低反差情况下会反复拉风箱的情况,随后人们借用相机的技术,为手机带来了相位对焦,也就是PDAF。
PDAF的方法是向像素中插入仅用于对焦的像素来比较相位差,从而实现快速对焦。
早期的PDAF会挡住像素不同的一半,使他们之间产生相位差距,在某个确定的焦点相位差消失,这个焦点就是对焦点。
显然,对焦像素越多,确定相位也越快。不过由于对焦像素没有彩色滤光片,不能识别色彩信息,因此对焦像素越多,清晰度越差。
随后出现的双核对焦是一次小的改进,把对焦像素保留滤光片,分成两份进行相位对比。不过对焦点少还存在。
为了一次性解决对焦点少和遮挡色彩信息两个缺点,双像素对焦(or Dual PD、全像素双核对焦)出现了。
他将每个像素都分成两份,从而同时解决了两个问题。
不过随着高像素的演进,很快三星和索尼发现将本身就很小的像素切开并不现实,于是就拉开了退回PDAF的篇章。随着各个厂商不断的追求拍照体验,终于三星在很小的像素上也实现了Dual PD,而且带了个Pro。
有Pro的区别就是绿色像素不再是左右分而是对角线分了。
这样做的原因很简单。原有的Dual PD检测的方法是比较左右相位差,不过有的东西比如横条纹、丑国国旗这样的东西左右是一样的,没有相位差,于是只能利用反差对焦来对焦,破坏了对焦体验。
Dual PD Pro闪亮登场,由于选择了对角线隔+左右分割,基本可以做到所有方向都可以快速对焦,不过横向相位差还是要稍慢一点点。
在三星大放异彩之前,索尼也尝试发起过冲击,也就是2X2 OCL,FX2Pro的技术。
这张图歧义比较大,QE=量子效率,也就是单个像素对光的吸收效率,理论上来讲,微镜越大,QE越高,原因是折射率更小,阿贝数更高,但在手机端,折射率差异不够大,阿贝数差异也不明显,因此你看不到IMX689吊锤IMX700。
至于最后的分辨率,由于Bayer和DualPD要求的像素面积大,难以堆高像素,所以为“Poor”。
由于上篇讲过了,在此不再赘述。
五、防抖
前一阵P40发布之后很多人表示P40真的稳,但其实拿Reno拿小米拿vivo拿iPhone试一下一样稳,这就是EIS的功劳。
裁切周围一圈的画面,通过算法来防抖,就是电子防抖。拍视频防抖效果上要比OIS好上不少。
很多小伙伴又要问了EIS这么好OIS有啥用?
其实OIS基本和视频无瓜,更多的是为了拍照的时候能延长快门时间,夜景模式不糊,长曝光不飘,这么说,夜晚拍照,IMX686+调教到位的OIS打得过IMX700(说的就是你,荣耀弟弟)。
而超级防抖=EIS,超级防抖Pro=EIS+超广角,综上OPPO和华为超级防抖Pro效果最好,小米要稍差,但华为取景范围太小,只有18mm,iPhone13mm,其他家也有15mm左右。
去年说的其实没啥问题,今年补充两句。
OIS和视频关系不大的原因一个是补偿幅度太小,一个是果冻效应比较明显,这都需要后期算法的配合优化。
在算法日渐成熟的当下,微云台和Sensor Shift也成为新的选择。
微云台就是拓展了补偿范围的五轴OIS,由于补偿范围的大幅度提升,能支持更长时间的手持拍照和视频拍摄,以通过更长时间堆栈的方式来增强画质,是相当不错的解决方案。
Sensor Shift本质也是OIS,传感器位移光学防抖。
由于镜组和马达整体重量要高于传感器,因此同样的驱动效果,由动量定理易知传感器能更快地被移动,减小延迟,提升防抖效果。不过由于传感器越来越大且价格高昂,目前除了12PM支持上下左右两轴防抖,暂时还没有铺开。
六、RGGB、RYYB和高像素
高像素 先回答下:方向对了感知很强有失公允。
从这张图能看到,过去的二十年里,手机像素大小就是在逐渐下降的,但是像素增长的速度远高于像素变小的速度,所以除开Nokia,整个CIS的感光性能在大幅度增长。
如果真按照华为KOL说的,HTC想必会很高兴,毕竟死不悔改天天UltraPixel,像素确实大,但是有什么用呢?别人全CIS近光依然比你多。话说回S6、S7,都是IMX362/363,都是1.4μ的大像素,怎么就打不过你IMX600呢?还是因为底大。
同时,更小的像素更容易制造更大的底(不用特调微镜,直接延续原来0.8μ的就可以),所以我们要坚定不移走高像素的改革之路,深化落实高像素政策,推进大底全面发展。
据说粗粮要发布的Mix新机是144MP,还是挺期待手机直接1英寸底的时代的。
RGGB和RYYB
先聊一下为什么是RGGB。
CIS本身是没有感受光线是什么颜色的能力的,他只能感受这里有没有光,因此需要滤光片过滤其他颜色的光,再通过合成反映出事实的光。
图源水印
光学三原色是RGB,且人类的视锥细胞也由RGB构成,所以为了所见即所得,RGB就是CFA(色彩滤波阵列)最初的排列方法。又由于绿色感光能力更强,且绿色波长介于RB之间,能记录部分RB信息,加增一个G能大幅度提升亮度,且色彩易于还原,所以RGGB就成为了主流。
其实中间人们还尝试过多种多样的其他排列,包括RYYB、RGBW、全反色、半反色,但是由于伽马矫正以及色彩校正始终没有进步而放弃。
而针对于RYYB,G->Y之后最明显的变化就是绿色难以饱和。
之前这段写的其实基本还适用,不过最后的解释我要修改一下。
如果PS用的熟练,知道通道混合器,你就能很快理解。
RYYB相比于RGGB相当于G通道中G降为70%,R通道中G提升30%
这很显然会带来偏色。
你能看到白色会偏红,绿色会偏淡。
原因如下。
原来你有三个瓶子,R、G、B。每个瓶子中储存了100mL水,现在将G瓶子中水倒30mL到R瓶子中,因此此时R、G、B三个瓶子的水量是130mL、70mL、100mL。此时,你的周围有一万人,每个人手里拿着不同数量的RGB瓶子,不过水量都从100/100/100mL变成了130/70/100mL,这就会导致本身手里G瓶子多的人水变少,R瓶子多的人手里的水变多。
由于大多数人手里R瓶子多于G瓶子,所以总体水量上升了。
这个例子中水就等于色彩浓度或者感光度。由于总体水量上升,整个照片会更亮,不过本身红色比绿色浓郁(手里R瓶子多于G瓶子的人)的像素会更亮,绿色比红色浓郁的像素会更暗,从而导致整个照片的失衡。
还是拿我之前自己拍的照片做例子
你显然能看出偏色方向和我给的通道混合器例图一致,这也是RYYB的坏处。
由于整体水量失衡,不管后期怎么调整,除非通道混合器换回来,否则都很难解决,且总体水量不足可以通过大底和Pixel Binning解决,我认为RYYB是毫无意义,华为坚守RYYB只是因为沉没成本过高而已。不过沉没成本不是成本,希望华为早日改邪归正,重回RGGB。
对于高像素,还是那句话,请加大力度。
毕竟大底做大像素要比小像素难,那么不如先来大底小像素把水补齐。
七、计算摄影
最早提到用AI去优化照片的(P月亮、AI色彩不算计算摄影,那个最多叫AI滤镜、AI贴图),是Pixel。于是我们喜闻乐见Pixel用363吊打一众旗舰,但也用Pixel4告诉人们,计算摄影是有极限的——硬件提升也很重要。
第二家,就是苹果的DeepFusion。第三家就是华为的XDFusion。从目前非通稿的评测来看,XDFusion强是真的强,但是还有很大的提升空间。比如色彩算法、锐化涂抹、比如长焦放入中焦的色差和过渡。
有道理相信,未来的天下是计算摄影的,但绝对不是363+计算摄影,而是一英寸大底+计算摄影的。小厂商将彻底出局,因为ArcSoft在计算摄影领域积淀也不够多,就类似于国产电动爹,有了博世也打不过特斯拉,因为博世也不够强。
DeepFusion过去很长时间了。
Pixel都快出5了。
华为都快没了。
特斯拉都快炸了。
计算摄影是不是未来方向已经不需要讨论了。
在技术没有大跃进的现在和短暂的未来,很显然计算摄影是终极方向。
毕竟看过小米11U的模组你就知道物理是有极限的。
如果我们不想让每个手机后边都成为跷跷板,计算摄影才是未来。
八、购买推荐
小米 11 Ultra (硬件最强)
vivo X60 Pro+ (就是真的强。越级的强)
Mate 40 Pro/+ (强,你能买到?)
iPhone 12 Pro Max (Pro RAW乱杀)
S21 Ultra (确实强)
魅族 18 Pro (硬件强软件一般)
小米 10 Ultra (强)
排名有先后。仅根据拍照摄影排名。
九、终章·老生常谈
还是那句话。
这么需要手机摄影的,真正有多少?
除了拍课件能用到长焦、去旅游能用到超广角以外,IMX363是绝对够我日常使用的。
我无比怀念单摄的时代。
衷心希望APEX2020这种能够尽快全面铺开(索法太小众了)
最后争取争取看看能不能做到一颗摄像头覆盖13-130焦段。
我会为了P40Pro+神奇的相机鼓掌,也会因为iPhone“够用”的相机而满足。会为了一亿像素而高兴,也不会为了Ace2的相机难过。
毕竟,大多数人只是需要一台能扫码,能验毒,女生能自拍的手机,而不是一台能打电话的相机而已。
我需要的,只是一台能拍照的手机,而已。
以上,我是@苏三公子。
科普不易,求收藏点赞转发和关注。你的支持是我码字的最大动力。
聚灵阵主
校验提示文案
Aaroncae
校验提示文案
收纳空黑
另外问一句 OPPO那个imx766和imx689选哪个?GN1实在是买不起
校验提示文案
咬牛奶喝面包
校验提示文案
装修帝
好像今年有部电影就是用苹果拍摄的 不知道真假
校验提示文案
瓦克
校验提示文案
值友7099009211
校验提示文案
值友7099009211
校验提示文案
成天乐
校验提示文案
苏三公子
校验提示文案
LEO0574
校验提示文案
怡然自得210
校验提示文案
白云上的鱼
校验提示文案
金色浪花
校验提示文案
木木滚滚
校验提示文案
SeamuSea
校验提示文案
null_Kun
校验提示文案
月半月半的
校验提示文案
爱折腾的老狐狸
校验提示文案
值友3324538683
校验提示文案
成天乐
校验提示文案
值友7099009211
校验提示文案
值友7099009211
校验提示文案
HenryTheGreat
校验提示文案
值友3324538683
校验提示文案
爱折腾的老狐狸
校验提示文案
月半月半的
校验提示文案
收纳空黑
另外问一句 OPPO那个imx766和imx689选哪个?GN1实在是买不起
校验提示文案
null_Kun
校验提示文案
SeamuSea
校验提示文案
Aaroncae
校验提示文案
瓦克
校验提示文案
木木滚滚
校验提示文案
金色浪花
校验提示文案
白云上的鱼
校验提示文案
怡然自得210
校验提示文案
聚灵阵主
校验提示文案
装修帝
好像今年有部电影就是用苹果拍摄的 不知道真假
校验提示文案
LEO0574
校验提示文案
咬牛奶喝面包
校验提示文案