ISP芯⽚架构及算法初理解
ISP芯⽚⼊门
此篇基于
进⾏整理归纳,仅作搬运,不定期更新,欢迎补充。
前⾔
爸爸妈妈吉他谱
光通过光学系统⼊射到探测器的感光区域,探测器经过光电转换,将Bayer 格式的原始图像送给ISP,ISP 经过算法处理,输出空间域图像数据给后端的视频采集单元。其中ISP 由ISP逻辑及运⾏在其上的固件组成,逻辑单元除了完成算法处理外,还会统计出当前图像的实时信息。固件通过获取ISP 逻辑的图像统计信息,重新计算,反馈控制光学系统,探测器和ISP 逻辑,进⽽完成⾃动光圈、⾃动曝光、⾃动⽩平衡等⼀系列功能,以达到⾃动调节图像质量的⽬的。
ISP
ISP全称Image Signal Processing,即图像信号处理。本⽚所述的ISP主要是针对前端图像传感器输出的信号的后期处理,具体指的是从不同的 nsor输出信号过前级模数处理后的格式数据,到转换成通⽤的等格式数据的过程,通常⽤于USB摄像头/监控摄像头/⼿机/平板等芯⽚设计中,依赖于ISP才能在不同的光学条件下都能较好的还原现场细节,ISP技术在很⼤程度上决定了摄像机的成像质量。
ISP主要包括对亮度,⾊彩和细节三个部分的优化处理。亮度是指对图像整体的亮度调整,涉及到的算法有:⾃动曝光AE(Auto Exposure),⿊电平校正BLC (Black Level Correction),镜头阴影校正LSC (Lens Shading Correction),Gamma,HDR (High Dynamic Ranger)等。涉及到⾊彩的算法有:⽩平衡AWB (Auto WhiteBalance),⾊彩校正Color Correction Matrix,饱和度Saturation,⾊相Hue等。细节的算法主要有:去噪Denoi,插值interpolation,缩放zoom,边缘增强EE (edge enhance)等。还有⼀些其他相对特殊的算法,例如⾃动对焦AF (Auto Focus),防闪烁anti-flick等。
⼀个简化的ISP算法框架如下图
ISP各个基本算法是相对独⽴的,但是在整体效果呈现上,⼜是相互关联的。举例来说,LSC这个算法把要图像四周的拉亮,这就导致图像四周的Noi⽐较⼤, ⽽Noi较⼤的话,edge enhance就要对四周的像素做特殊处理,使得Noi不会被放⼤,这会导致图像中⼼相对清晰,四周相对模糊。各个ISP算法模块,内在是有⼀些确定的逻辑关系的,上图中的框架结构,有些顺序是可以改变,有些则不可以改变,有些改变会导致算法复杂度提升。同时ISP算法中有不少特性是相互对⽴⽭盾的,例
星海广场华表
如清晰度和噪声,AWB中的稳定度和精确度,AE 中的收稳定性和收敛速度等,这些对⽴的特性,要根据具体需求或者实际应⽤场景去做平衡。
健康小报的手抄报
隐患分级常见算法
ISP算法的⽬的是要让CMOS成像接近⼈眼的感受效果,所以⾸先要⽐较⼈眼成像和CMOS成像的差异。从图像亮度这⽅⾯来看,最重要的就是曝光,其次有针对显⽰器特性的Gamma映射,针对CMOS nsor 特性的Black Level Correction,针对镜头透光性的Lens shading Correction,以及anti-flick等。与⾊彩相关最重要的function是⾃动⽩平衡AWB和⾊彩校正矩阵Color Correction Matrix,其他有饱和度Saturation,⾊相Hue。
Automatic Exposure(AE)
不同场景下,光照的强度有着很⼤的差别。⼈眼有着⾃适应的能⼒因此可以很快的调整,使⾃⼰可以感应到合适的亮度。⽽图像传感器却不具有这种⾃适应能⼒,因此必须使⽤⾃动曝光功能来确保拍摄的照⽚获得准确的曝光从⽽具有合适的亮度。
AE 模块实现的功能是:根据⾃动测光系统获得当前图像的曝光量,再⾃动配置镜头光圈、nsor快门及增益来获得最佳的图像质量。⾃动曝光的算法主要分光圈优先、快门优先、增益优先。光圈优先
时算法会优先调整光圈到合适的位置,再分配曝光时间和增益,只适合p-iris 镜头,这样能均衡噪声和景深。快门优先时算法会优先分配曝光时间,再分配nsor增益和ISP 增益,这样拍摄的图像噪声会⽐较⼩。增益优先则是优先分配nsor增益和ISP 增益,再分配曝光时间,适合拍摄运动物体的场景。
⾃动曝光的实现⼀般包括三个步骤:光强测量、场景分析和曝光补偿。光强测量的过程是利⽤图像的曝光信息来获得当前光照信息的过程。按照统计⽅式的不同,分为全局统计,中央权重统计或者加权平均统计⽅式等。全局统计⽅式是指将图像全部像素都统计进来,中央权重统计是指只统计图像中间部分,这主要是因为通常情况下图像的主体部分都位于图像的中间部分;加权平均的统计⽅式是指将图像分为不同的部分,每⼀部分赋予不同的权重,⽐如中间部分赋予最⼤权重,相应的边缘部分则赋予较⼩的权重,这样统计得到的结果会更加准确。场景分析是指为了获得当前光照的特殊情况⽽进⾏的处理,⽐如有没有背光照射或者正⾯强光等场景下。对这些信息的分析,可以提升图像传感器的易⽤性,并且能⼤幅度提⾼图像的质量,这是⾃动曝光中最为关键的技术。⽬前常⽤的场景分析的技术主要有模糊逻辑和⼈⼯神经⽹络算法。这些算法⽐起固定分区测光算法具有更⾼的可靠性,主要是因为在模糊规则制定或者神经⽹络的训练过程中已经考虑了各种不同光照条件。在完成了光强测量和场景分析之后,就要控制相应的参数使得曝光调节⽣效。主要是通过设定曝光时间和曝光增益来实现的。通过光强测量时得到的当前图像的照度和增益值与⽬标亮度值的⽐较来获得应该设置的曝光时间和增益调整量。在实际情况下,相机通常还会采⽤镜头的光圈/快门系统来增加感光的范围。
Automatic Focus(AF)
⾃动对焦⽅⾯知识,可参考:
Anti-Flick
Flick是由于我们平常所⽤的交流电是50Hz或者60Hz(美国)的正弦波形,荧光灯辐射能量与此相关,⼈眼察觉不出来(神经⽹络刷新频率太低,还是视觉残留效应?),但是CMOS nsor可以观察到,当拍摄被荧光灯照射的场景时就会容易有flick现象。如下图。这是⼀种垂直⽅向的正弦波,⽽且会随着时间滚动。
要解释flick的成因,先要了解CMOS Sensor的曝光⽅式。Sensor 通常有全局曝光global shutter和滚动曝光rolling shutter两种。Global shutter是指整个Frame pixel在同⼀时间开始曝光,同⼀时间结束曝光,然后把数据通过接⼝传输出来,等数据传输完成之后,再开始下⼀个Frame的曝光。Rolling shutter是指Frame中各条line上的pixel 按照顺序依次开始曝光,先曝光完成的line 先传输,不必等整个frame都曝光完成。
⼤部分nsor都⽀持这两种曝光模式,相⽐较⽽⾔,可以看到rollingshutter对时间的利⽤率较⾼,⼤部分时间可以被利⽤起来进⾏曝光。Rolling shutter的缺陷是当有物体⾼速移动的时候,拍摄到的物体
会有变形,矩形变成平⾏四边形,这可以依照上图原理推断出来。Global shutter不会变形,主要⽤于拍照⽚,对fps没有太多要求,单张照⽚也不存在flick的问题。Rolling shutter⽤于拍视频,所以会存在flick问题。
Flick的原因在于荧光灯发出的能量在时间上是不均匀的,以我们国家50Hz为例,电压为50Hz正弦波,做平⽅运算转换到荧光灯的辐射能量,为100Hz的半弦波形状,如下图。假设某个frame的曝光时间为0.025s,即2.5个半弦波,由于采⽤rolling shutter,每条line的起始曝光时间不⼀致,Line A和line B可吸收的能量也不相同,Line B 要⽐Line A亮⼀些。这样在整个Frame 中就会有垂直⽅向的波浪纹。如果相邻Frame的间隔不是0.01s的整数倍,那么每条Line 在不同Frame接收的能量也会变化,这样看到的现象是波浪纹会随着时间在画⾯上滚动。
解决flick的⽅法很简单,只要限制曝光时间是0.01s的整数倍,那么任意像素吸收的能量都是⼀样的。然⽽在户外光照较强的时候,曝光时间为0.01s的时候就会导致过曝,户外也没有荧光灯,不需要强加这个限制,所以在ISP中需要⼀个检测机制,能够检测出flick的存在,当发现这种flick的时候才对曝光时间进⾏限制。
Automatic White Balance(AWB)
⾃动⽩平衡功能就是模拟了⼈类视觉系统的颜⾊恒常性特点来消除光源颜⾊对图像的影响。⾸先介绍⼀下⾊温的概念。⾊温源⾃普朗克定义的⿊体受热辐射,单位是K(kelvin),⽤于定义光源颜⾊,热⿊体辐射体与光源的⾊彩相匹配时的开尔⽂温度就是光源的⾊温。来看⼀下⾊温的⼤致范围:
这是⼀份在XYZ⾊彩空间的光源⾊温曲线,可以看到⾊彩偏红时⾊温较低,⾊彩偏蓝则⾊温较⾼。⼀般烛光在1800K,阴天为5000K,晴天为6500K,蓝⾊天空在10000K以上。在实际场景中,光源的颜⾊未必刚好在这条⾊温曲线上,很可能有⼀些偏差。
AWB要做的事情,是要让⽩⾊的物体,在任何⾊温条件下,都显⽰成⽩⾊,这是nsor⾊彩校正的第⼀步。这⾥先要说明⼀下⼈眼就有⾮常快速和精准的AWB,以⾄于我们很少察觉到。举例来说,有⼀张⽩纸,不论在什么环境下,我们⼈眼都会认为是⽩⾊的,只有在光源⾊温⼤幅度且快速切换的⼀瞬间(例如开灯/关灯),才会感觉到⽩纸会变⾊⼀下,然后马上⼜变⽩了。⽽CMOS nsor拍摄到的图⽚,受⾊温的影响很⼤,⽽且Sensor 本⾝对RGB三个分量的敏感度也不⼀样(figure3.1.2),因此nsor输出的原始图⽚和⼈眼所见差异很⼤。AWB 算法就是要克服nsor本⾝特性和⼈眼的不⼀致,以及解决⾊温对图像⾊彩的影响。Sensor输出原本⾊彩和经过ISP校准后的⾊彩对⽐如figure3.1.3. 这⾥ISP中⾊彩处理包括AWB和CCM.
Bad Pixel Correction(BPC)
所谓坏点,是指像素阵列中与周围像素点的变化表现出明显不同的像素,因为图像传感器是成千上万的元件⼯作在⼀起,因此出现坏点的概率很⼤。⼀般来讲,坏点分为三类:第⼀类是死点,即⼀直表现为最暗值的点;第⼆类是亮点,即⼀直表现为最亮值的点:第三类是漂移点,就是变化规律与周围像素明显不同的像素点。由于图像传感器中CFA的应⽤,每个像素只能得到⼀种颜⾊信息,缺失的两种颜⾊信息需要从周围像素中得到。如果图像中存在坏点的话,那么坏点会随着颜⾊插补的过程往外扩散,直到影响整幅图像。因此必须在颜⾊插补之前进⾏坏点的消除。
盐椒噪声是⼀种在图像中产⽣⿊点或⽩点的脉冲噪声,这类噪声往往和图像信号内容不相关,与邻域周边像素灰度值差别明显。中值滤波能够较好的滤除盐椒噪声(冲激噪声)。对于Sensor坏点来说,在⼀定程度上也可以看做是盐椒噪声,因此,坏点校正也可以使⽤中值滤波进⾏滤除。
另⼀种是建⽴坏点像素链表进⾏固定位置的坏像素点修复, 这种⽅式是 OTP 的⽅式。
Black Level Correction(BLC)
Black Level 是⽤来定义图像数据为 0 时对应的信号电平。由于暗电流的影响, 传感器出来的实际原
始数据并不是我们需要的⿊平衡( 数据不为0) 。 所以,为减少暗电流对图像信号的影响,可以采⽤的有效的⽅法是从已获得的图像信号中减去参考暗电流信号,或者更确切是:模拟信号很微弱的时候,有可能不能被A/D转换出来,导致光线很暗的时候,图像暗区细节丢失。因此,nsor⼀般会在A/D转换之前,给模拟信号⼀个偏移量,以确保输出的图像保留⾜够多的细节。⽽⿊电平校正主要是通过标定的⽅式确定这个偏移量。使得后续ISP模块的处理在保持线性⼀致性的基础上进⾏。
⼀般情况下, 在传感器中,实际像素要⽐有效像素多, 像素区头⼏⾏作为不感光区( 实际上, 这部分区域也做了 RGB 的 color filter), ⽤于⾃动⿊电平校正, 其平均值作为校正值, 然后在下⾯区域的像素都减去此矫正值, 那么就可以将⿊电平矫正过来了。
⿊电平校正是在⼀倍系统增益的情况下标定计算⽽来,有些nsor在⾼倍增益和低倍增益时,OB相差会⽐较⼤。这个时候就需要获取不同增益环境下的遮⿊RAW数据,分析R/Gr/Gb/B四个通道下的mean值。分析出来的均值即为各个通道的OB值。如果需要微调,即可在标定的OB上进⾏。例如:低照度下偏蓝,即可根据所在的ISO范围将B通道的幅度增加,减轻偏蓝现象。
扫地的过程Brightness
亮度调整是⼀般摄像头都有的基本属性。通常都是在YCbCr空间对图像每个像素的Y都加上⼀个ΔY,ΔY可正可负。这样在增加亮度的时候会有明显的缺陷,图像的饱和度会降低,图像变⽩,视觉效果变
差。根据RGB和YCbCR的转换公式可以分析出相同的结论:在Y上增加ΔY,等价于在R/G/B三个分量加上相同的ΔY。 我们常说的⾊彩鲜艳程度,⾮常近似于R/G/B之间的相互⽐例关系。当ΔY为正时,相当于R/G/B之间⽐例关系趋向于1,即差异变⼩,所以⾊彩变淡。那么要保持R/G/B⽐例关系,对R/G/B⽤乘法最好了,⼀样可以提⾼亮度。不过乘法也⾃⼰的问题,⼀是容易让较⼤的数据溢出,⼆是对暗处的亮度提升不明显。因此最好是加法和乘法做个融合,把亮度调整挪到RGB空间做,会有不错的效果。这⾥给出⼀个计算公式,对RGB三个分量独⽴计算,假设⽤户调整亮度为ΔY,x=R或者G或者B,ΔY 和R/G/G的取值范围都在0~255之间,a为可调参数,范围在0~1,建议为1/4.
f(x, ΔY) = x + aΔY + x(1-a)*ΔY /256
我这个算法命名为基于⾊彩分量⾃⾝的亮度调整算法,效果图如下:
减⼩亮度的时候,也有类似的问题,直接对Y做减法的时候,暗处的内容就会丢失⽐较严重,同样可以采取在RGB空间加法和乘法结合的⽅式。
Color Correction Matrix(CCM)
⾊彩校正矩阵CCM 通常在RGB domain 进⾏,并且在AWB之后。AWB把⽩⾊校正了,相应的其他⾊
彩也跟着有明显的变化,可以说⾊彩基本正确了,只是饱和度有点低,⾊彩略有点偏差。CCM就是要保持⽩⾊(灰⾊)不变,把其他⾊彩校正到⾮常精准的地步。
⼀般颜⾊校正的过程是⾸先利⽤该图像传感器拍摄到的图像与标准图像相⽐较,以此来计算得到⼀个校正矩阵。该矩阵就是该图像传感器的颜⾊校正矩阵。在该图像传感器应⽤的过程中,及可以利⽤该矩阵对该图像传感器所拍摄的所有图像来进⾏校正,以获得最接近于物体真实颜⾊的图像。
⼀般情况下,对颜⾊进⾏校正的过程,都会伴随有对颜⾊饱和度的调整。颜⾊的饱和度是指⾊彩的纯度,某⾊彩的纯度越⾼,则其表现的就越鲜明;纯度越低,表现的则⽐较黯淡。RGB三原⾊的饱和度越⾼,则可显⽰的⾊彩范围就越⼴泛。
惬意的生活
⼀般在不同增益环境下CCM的饱和度会有所不同。例如,低照度⼩我们可以适当调低CCM饱和度以减轻低照度下⾊噪。因此,⼀般ISP会留出接⼝以便对不同增益下CCM饱和度调整,对⼀倍增益校正出的CCM参数进⾏插值计算,计算得到不同增益下较为合适的CCM参数。
Denoi
使⽤ cmos nsor 获取图像,光照程度和传感器问题是⽣成图像中⼤量噪声的主要因素。同时, 当信号经过 ADC 时, ⼜会引⼊其他⼀些噪声。 这些噪声会使图像整体变得模糊, ⽽且丢失很多细节, 所以需要对图像进⾏去噪处理空间去噪传统的⽅法有均值滤波、 ⾼斯滤波等。
但是, ⼀般的⾼斯滤波在进⾏采样时主要考虑了像素间的空间距离关系, 并没有考虑像素值之间的相似程度, 因此这样得到的模糊结果通常是整张图⽚⼀团模糊。 所以, ⼀般采⽤⾮线性去噪算法, 例如双边滤波器, 在采样时不仅考虑像素在空间距离上的关系, 同时加⼊了像素间的相似程度考虑, 因⽽可以保持原始图像的⼤体分块, 进⽽保持边缘。
Demosaic------颜⾊插值
光线中主要包含三种颜⾊信息,即R、G、B。但是由于像素只能感应光的亮度,不能感应光的颜⾊,同时为了减⼩硬件和资源的消耗,必须要使⽤⼀个滤光层,使得每个像素点只能感应到⼀种颜⾊的光。⽬前主要应⽤的滤光层是bayer GRBG格式。如下图所⽰:
这样,经过滤⾊板的作⽤之后,每个像素点只能感应到⼀种颜⾊。必须要找到⼀种⽅法来复原该像素点其它两个通道的信息,寻找该点另外两个通道的值的过程就是颜⾊插补的过程。由于图像是连续变化的,因此⼀个像素点的R、G、B的值应该是与周围的像素点相联系的,因此可以利⽤其周围像素点的值来获得该点其它两个通道的值。⽬前最常⽤的插补算法是利⽤该像素点周围像素的平均值来计算该点的插补值。如下图所⽰,左侧是RAW域原始图像,右侧是经过插值之后的图像。
Gamma
Gamma全称是Gamma矫正,最初起源是CRT屏幕的⾮线性,研究CRT电⼦枪的物理表明,电⼦枪的输⼊电压和输出光之间满⾜5.2幂函数关系,即荧光屏上显⽰的亮度正⽐于输⼊电压的5/2次⽅,这种关系源于阴极、光栅和电⼦束之间的静电相互作⽤。由于对于输⼊信号的发光灰度,不是线性函数,⽽是指数函数,因此必需校正。
但是实际情况是,即便CRT显⽰是线性的,伽马校正依然是必须的,是因为⼈类视觉系统对于亮度的响应⼤致是成对数关系的,⽽不是线性的。⼈类视觉对低亮度变化的感觉⽐⾼亮度变化的感觉来的敏锐,当光强度⼩于1lux时,常⼈的视觉敏锐度会提⾼100倍。伽马校正就是为了校正这种亮度的⾮线性关系引⼊的⼀种传输函数。校正过程就是对图像的伽玛曲线进⾏编辑,检出图像信号中的深⾊部分和浅⾊部分,并使两者⽐例增⼤,从⽽提⾼图像对⽐度效果,以对图像进⾏⾮线性⾊调编辑。由于视觉环境和显⽰设备特性的差异,伽马⼀般取2.2~2.5之间的值。当⽤于校正的伽马值⼤于1时,图像较亮的部分被压缩,较暗的部分被扩展;⽽伽马值⼩于1时,情况则刚好相反。
现在常⽤的伽马校正是利⽤查表法来实现的,即⾸先根据⼀个伽马值,将不同亮度范围的理想输出值在查找表中设定好,在处理图像的时候,只需要根据输⼊的亮度,既可以得到其理想的输出值。在进⾏伽马校正的同时,可以⼀定范围的抑制图像较暗部分的噪声值,并提⾼图像的对⽐度。还可以实现图像现显⽰精度的调整,⽐如从l0bit精度⾄8bit精度的调整。
Green Balance(GB)
由于感光器件制造⼯艺和电路问题,Gr,Gb数值存在差异,将出现格⼦迷宫现象可使⽤均值算法处理Gr,Gb通道存在的差异,同时保留⾼频信息。另外⼀个说法是:Sensor芯⽚的Gr,Gb通道获取的能量或者是输出的数据不⼀致,造成这种情况的原因之⼀是Gr,GB通道的半导体制造⼯艺⽅⾯存在差异,另⼀⽅⾯是Microlens的存在,特别是nsor边缘区域,GB,Gr因为有⾓度差异,导致接收到的光能不⼀致。如果两者差异⽐较⼤,就会出现类似迷宫格⼦情况。主要是考虑G周围的G的⽅法进⾏平均化。
High Dynamic Range (HDR)
HDR的本意是⾼动态范围图像压缩。 我们知道⼀般CMOS nsor拍摄到的照⽚动态范围较⼈眼⼩很多,所以通过不同曝光时间拍摄同⼀场景的多张照⽚,实现动态范围扩展。⾸先明确曝光时间和图像亮度成正⽐,在已知多张照⽚曝光时间的条件下,可以把多张照⽚合成⼀张⾼动态范围的图⽚。举例来说,原始照⽚中图像内容的亮度范围都是0~255,合成之后亮度范围可能变成了0~1023,这幅⾼动态照⽚确实可以呈现所有的图像细节,不过⼀般显⽰器的显⽰范围只有0~255,⽆法直接显⽰出来。采⽤等⽐例压缩成0~255的话,图像细节丢失⽐较严重,于是出现了各种压缩动态范围的算法,既能完整呈现图像,⼜不损失细节。借⽤百度的图⽚。
通常我们所说的HDR都是指照⽚⽽不是视频,也就是说拍摄好⼏张不同曝光的照⽚存在系统的DRAM中,然后由CPU来计算合成,这是由SW来实现的,通常所需时间是秒级。HDR算法种类很多,效果较好的算法也意味着较⾼的计算复杂度。现在视频拍摄也需要HDR,CPU 就容易算不过来,我这⾥分析⼀下由数字IC设计来实现HDR的可⾏性。
要视频HDR,⾸先需要CMOS nsor⽀持长短曝光模式,以长/短两种曝光图像合成为例,据我所知有两种输出格式,如下图
对于依次传输的模式,要做⼆合⼀融合,必须要把长曝光的整幅图像先存起来,⽤SRAM的话显然⾯积会⾮常庞⼤,成本太⾼,因此需要存到系统的DRAM中,等短曝光的图像收到的时候再从DRAM中取出来。这样会占⽤DRAM的1个Frame存储空间,以及1次读Frame和1次写Frame的带宽。对于混合传输模式,除了可以同样采取把长曝光数据存储到DRAM中的⽅法以外,也具有把数据放⼊SRAM的可能性,这要看混合传输时block ⼤⼩。以FHD为例,假设先传输100 line的长曝光图像数据,再传输100 line的短曝光图像数据,需要把1920100=192K个pixel存储到SRAM中,为了减⼩size,通常会在Bayer pattern domain做HDR合成,以pixel为10-bit为
宫体诗名词解释
例,Totalsize为192K10/8=240K bytes,成本或许可以接受。
HDR算法种类较多,我这⾥⼤概介绍⼀下基本思想。有基于直⽅图统计特征,进⾏亮度重新映射的⽅法,类似于直⽅图均衡化。有局部处理法,结合整体图像亮度和局部区域对⽐度,保留细节⼜压缩范围。有转换到对数域(⼈眼对亮度的敏感度类似对数关系)进⾏压缩的⽅法。有对图像进⾏分层,分为基础层和细节层,保留细节层,对基础层进⾏范围压缩的⽅法。各种⽅法可以相互融合借鉴,对于IC设计来说,最关键的还是性价⽐。
Lens Shading Correction(LSC)
由于相机在成像距离较远时,随着视场⾓慢慢增⼤,能够通过照相机镜头的斜光束将慢慢减少,从⽽使得获得的图像中间⽐较亮,边缘⽐较暗,这个现象就是光学系统中的渐晕。由于渐晕现象带来的图像亮度不均会影响后续处理的准确性。因此从图像传感器输出的数字信号必须先经过镜头矫正功能块来消除渐晕给图像带来的影响。同时由于对于不同波长的光线透镜的折射率并不相同,因此在图像边缘的地⽅,其R、G、B的值也会出现偏差,导致CA(chroma aberration)的出现,因此在矫正渐晕的同时也要考虑各个颜⾊通道的差异性。
烘干机怎么用常⽤的镜头矫正的具体实现⽅法是,⾸先确定图像中间亮度⽐较均匀的区域,该区域的像素不需要做矫正;以这个区域为中⼼,计算出各点由于衰减带来的图像变暗的速度,这样就可以计算出相应R、G
、B通道的补偿因⼦(即增益)。
出于节约成本的考虑以及尺⼨⽅⾯的原因,⼿机相机镜头向⼩型化和低成本⽅向发展。由于摄像头尺⼨⼩,制造材料品质低,拍摄的图像在靠近边缘处会出现亮度衰减的现象。因此要对 Bayer raw 图像进⾏镜头衰减校正,以降低计算负荷。使⽤ LUT 分段线性近似法代替模拟曲线和多项式运算。每种颜⾊都有⾃⼰的 LUT,因此亮度衰减和⾊偏问题可同时得到解决。