一亿像素的意义：聊聊图像采样与重建

小米MIX4将会采用三星1.08亿像素传感器的新闻大家应该都听说了，一时间大家都开始讨论小尺寸传感器高像素是否有意义，那么回归本源来看，像素的作用就是对镜头传递的空间信息进行采样，像素数就是采样样本数，它与灰度级，也就是模数转换位数共同决定了数字图像的质量，直观上不难理解：样本越多、灰度级越大，图像质量越好，这也是广义上“像素即正义”的根本。

不过图像处理并不能这么直观的来理解，空间域的滤波处理用数学化的方法复杂度很高，所以数字图像，也就是一个受限非周期函数往往通过傅里叶变换到频率域来进行处理，以降噪为例，噪声在空域来看就是一条条纹理，但傅里叶变换后就是点状：

通过滤波处理再做一次反变换就能实现降噪后的重建，这比直接在空域进行处理要简单很多，当然，快速傅里叶变换主要针对规律噪声消除，随机噪声需要更复杂的滤波方法。而ISP在处理信息时也必须把连续函数转换为离散值序列，在图像中取一条一维连续函数f(t)，以T为单位间隔的冲激串作为取样函数去乘以它，就能得到一个取样后的函数，算式我就不列了，图像会比较直观一点：

竖虚线为冲激串示意，对应红点的就是积分并使用冲激采样得到的值，于是1/T就是采样率，而采样率要足够高才能为周期之间提供有效的间隔，以保证频域信息的完整性，下图是一个带限函数的傅里叶变换：

下面是过采样、临界采样和欠采样条件下采样后的函数的傅里叶变换：

很明显，较高的1/T值在周期之间有明显的间隔，从上图2也不难看出，以1/T采样率对一个信号采样的最大频率是1/2T，也即是：一个连续带限函数采样率等于函数最高频率2倍，不会产生信号损失，这就是奈奎斯特采样定律。低于此值的采样率样本可参考上图3，最终结果是周期重叠，无论如何滤波都不可能再分离出变换的一个单周期，这种效果就是混淆，经典的代表是边缘锯齿和摩尔纹。

而且奈奎斯特频率也不是绝对的安全值，下图为在两个方向上无线扩展的正弦波sin(πt)，周期为2秒，频率为1/2周期/秒：

若准确按照2倍频率，也就是1秒采样1次来恢复信号，于是在t=0,1,2,3……位置取到sin(0)，sin(π)，sin(2π)，sin(3π)……而它们的值都是0，这显然无法正确还原信号，而比它更低的采样率会导致明显的混淆，所以在现实应用中我们往往需要采样率在函数频率的更多倍，也就是比奈奎斯特采样率更高，才能进行有效重建。

有了这些基础知识后，高像素密度的问题自然迎刃而解，对无限远处2个点光源通过理想光学系统在焦平面形成的衍射光斑最小可分辨间距为：

D为入瞳径、f为焦距、F为光圈值，以可见光波长0.38-0.78微米，F值1.6来计算，不难得到0.74176-1.52256微米的间距值，而按照奈奎斯特采样定律，作为采样点的像素边长也就是0.37088-0.76128微米，显然，目前还没有像素设计达到了这个标准，当然，这是理想光学条件下的结论，实际受镜头像差（这才是影响最大的）和工艺的影响，数值比这个要高出不少，但0.8微米像素依然是在容限范围以内的，更何况往往奈奎斯特采样标准还不够用，所以1/1.33英寸做一亿像素距离理论极限还有一定的距离，依然有益于提升成像素质。

传感器OK了，那镜头会不会拖后腿？小尺寸传感器意味着小像场镜头，有相对更小的光线高度h和视场角u，而几乎所有像差的大小都与这两项参数有直接关系，随便举两个例子，比如垂轴球差展开式为：

A和a为镜头常数，再一个例子，双胶合物镜二级光谱值为：

其中f’为复合焦距，PFD1/2、V1/2为胶合镜片的相对色散和阿贝数。虽然只列了2个例子，但事实上光线高度对整个像差幅度都有明显影响，因此单纯看空间分辨率，小像场镜头往往会有非常惊人的素质，反过来也应该不难理解大像场镜头做大光圈设计为什么很难达到高MTF，当然，如果只用大像场镜头的中心部分来投影小尺寸传感器，性能也不会差。而且无反结构提高了镜头的设计空间上限，随着各家工作重心已经转移到无反上，无反大光圈镜头性能已经逐步跟上，这同时也就为高像素机型的发展提供了现实需求。

还是用已有的方案来对比吧，随手找了个手机镜头的跑分图：

从MTF上不难看出中心点MTF50达到了惊人的350lp/mm，边缘区域径向MTF50最低也有接近150lp/mm，这是大像场镜头无法比拟的先天优势（全画幅镜头中心点在最佳光圈MTF50能达到120lp/mm已属*级），而我们粗暴假设这是一颗1/1.7英寸像场镜头，这意味着它的像高为5.58mm，再粗暴地按中心点MTF计算可得到1953LW/PH，也就是说它可以50%的对比度传递1953对黑白相间的横向条纹用于传感器成像，对应的传感器分辨率下限就是5208x3906，约2034万像素，而结合奈奎斯特采样定律，所以它需要对应至少4068万像素才能以数字形式有效复现镜头传递的模拟像。从这个角度来看，现有手机摄像头还远没有到设计极限，当然这个算法非常粗暴，毕竟使用的都是理论高数值。

小传感器有一个比较明显的问题是更容易受噪声影响，其中最主要是随机噪声，光子随即入射产生的光电子散粒噪声与传感器尺寸为正比关系，热噪声、暗电流则与制造工艺和环境温度有关。解决随机噪声最行之有效的方案正是手机领域非常擅长利用的多帧技术，因为随机噪声分布符合统计学规律，所以将带噪图像代数相加后求均值即可有效消除，设g(x,y)是无噪声图像f(x,y)被噪声n(x,y)污染后的图像，对图像进行K次曝光后单个像素X取均值：

数学上不难推导出随K值的增大，每个(x,y)像素位置的变化会以方差或标准差的形式减小：

这样一来，代数相加取均值后的g(x,y)就能大幅降低随机噪声的影响，使其更接近f(x,y)。这在天文摄影领域也是很常见的方法，结合制冷可以有效消除长曝光时的噪声影响。目前来看所有手机ISP方案都极其重视这项技术，结合堆栈式工艺，实现难度也不算高。

至于传感器本身的模式噪声则主要与工艺有关，比如像素内复位管和源跟随管阈值电压变化，列处理器电路开关时的沟道电荷注入，每个像素对光响应不一致性等问题，可以通过设计消除或改善，而现代手机传感器已经基本普及为背照式，相当多已经用上了堆栈设计，数字层的制造工艺已经进步到了相当高的水准。

不过，小尺寸传感器最大的先天桎梏还在低照度信噪比上，但华为已经为行业指出了一个比较明确的方案：像素合并+高倍增益+暴力降噪算法。这次小米的三星1.08亿像素方案依然是4合1方案，合并后实际到ISP的也就是2700万像素，而按目前的说法来看这次应该是可以全像素/合并像素都能输出。在让开口率达到100%的背照式设计与无隙微透镜全导光的情况下，合并像素输出与原生2700万对ISP来说没有区别，但结合特定的子像素彩色滤镜设计可以实现特定的目的，比如在自动驾驶摄像头里会用到只保留红色分量的RCCC阵列，以及增大光谱透过率的RYYB，此前甚至传闻MIX4上1.08亿传感器是RWB阵列，不过三星S5KHMX公版依然是拜耳，不知道小米是否会如传闻那样定制设计。

比起原生单像素来说，子像素分量的优点是可提供更符合设计需求的加权，比如RWB就会一定幅度增强量子效率，进而让合并像素具备更低的极限灵敏度阈值，也就是用更少的光子就能让信噪比达到1，在更弱的照度下也能进行有效成像（注意，单纯的加大像素面积并不是提高弱光成像质量的充分条件），结合多帧均值并对此信号赋以高倍程控电压放大，就会得到一个信号与噪声都相当高的输出，再使用通过神经网络学习得到的降噪算法进行滤波，获得一个在手机这种小幅面输出素质很不错的结果。当然，这种暴力降噪的代价往往是明显的图像模糊，但解决了手机摄像头在弱光环境难以快速成像的问题。

合并像素还会让阱容等比增大，从而提升了动态范围（最大不饱和信号电压/本底噪声电压）和信噪比（信号电压/系统噪声电压），这与色彩滤镜采用何种设计是无关的，在现代工艺下已经可以做到与原生大像素基本相当的水平。结合可进行1分4的1.08亿拆分输出意味着，它能够在高分辨率和高动态范围（信噪比）这两个不可同时获取的极端自由游走，不仅仅是单一的输出，这才是高像素+合并的意义所在。

至于非拜耳阵列的色彩还原也有很多论文讨论过，其实任何需要猜色的滤镜阵列插值算法都是一个单纯的经验问题，即便拜耳阵列在数字成像野蛮生长时代也有相当长的时间是色彩还原明显不准，比如下图：

这是一张1999年柯达DSC 620拍摄的200万像素彩色照片，不难看出色调有点怪怪的。大多滤镜阵列的插值算法在商用初期都会有一定幅度的偏色，但这是一个会随装机量提升而提升的“软规格”，能不能成事纯粹要看上游的态度和市场是否买单，这也是把新滤镜先用在对色彩准确性要求没那么高，但用户群迭代很快的手机领域的原因，毕竟色彩还原并不是手机摄影的绝对重点，大多数人甚至会主动加滤镜来调色，所以这个策略也是非常正确的，RYYB于华为P30系列就是个很好的例子，非生产力工具就适合来做这些新尝试，而且三星RWB是2015年就已经推出的技术，这些年来应该有持续的研发积累，假设小米会定制色彩滤镜的话，这方面也并不会成为掣肘之处。

总体来说，目前的一亿像素1/1.33英寸传感器不仅不会成为问题，反倒会给用户提供新的应用方式，比如6K 30p视频，事实上它还挺适合用在手机端的，而且对目前仍处于高速发展阶段的ARM SoC算力而言，开销也能在接受范围之内。如果是定制RWB传感器，那镜头选型就简单多了，因为RWB量子效率更高，且传感器面积更大，采用相同通光量镜头意味着它接受到的总光子数会更多，换言之它不需要特别高的F值就能达到传统拜耳阵列较大F值的亮度水准，所以这个一亿像素RWB传感器应该会配相对小F值镜头，比如F1.8甚至F2.0，也就比现有最快的手机镜头慢了不到一档而已，解决了口径和厚度的问题同时性能也不打折，方案明显优大于劣。

如果沿用Quad Bayer公版，模组尺寸基本就是现有方案的等比缩放，1/1.33的面积接近1/1.7的1.5倍，对角线长1.2倍多一点，这么粗暴对比一下不难发现其实变化并没有想象中大，只要不在其他设计上追极限，就没有太大必要担心体型的问题。