ISP(1):基础知识

概念

ISP(Image Signal Processor,图像处理)
狭义ISP: 从RAW格式变换到RGB或YUV的处理过程
广义ISP:还包含了JPEG和H.264/265图像压缩处理

为什么需要ISP?

主流的CMOS和CCD sensor几乎都是输出Bayer mosaic格式的RAW数据,这种数据格式是无法直接观看的,必须转换成常见的RGB或YUV格式才能被主流的图像处理软件支持。
对于camera产品而言,一般还需要将RGB或YUV图像进一步转换成JPEG格式以方便进行存储。

坏点校正(DPC,Defective Pixel Concealment)

出现原因:
1.半导体本身缺陷和位错
2.图像传感器的阵列工艺存在缺陷,光信号在转化过程中出现错误,或CMOS/CCD传感器上某些像素点没有接收到电源,没能正常工作
3. sensor在长时间、高温环境下
坏点类别:
静态坏点:
亮点: 一般来说像素点的亮度值是正比于入射光的,而亮点的亮度值明显大于入射光乘以相应比例,并且随着曝光时间的增加,该点的亮度会显著增加 ;
暗点: 无论在什么入射光下,该点的值接近于0;
动态坏点: 在一定像素范围内,该点表现正常,而超过这一范围,该点表现的比周围像素要亮。与sensor 温度、增益有关,sensor 温度升高或者gain值增大时,动态坏点会变的更加明显。
校正意义: 如果图像中存在坏点的话,在进行插值和滤波处理的时候,会影响周围的像素点,因此需要在插值和滤波之前对坏点进行校正。 图像存在坏点比较多或动态坏点很多的情况下,会造成图像的边缘出现伪色彩的情况,这种现象不但影响图像的清晰度,而且会影响边缘的色彩。此外,坏点也会造成图像部分pixel闪烁的现象
静态坏点校正:静态坏点的校正是基于已有的静态坏点表,比较当前点的坐标是否与静态坏点表中的某个坐标一致,若一致则判定为坏点,然后再计算校正结果对其进行校正。 一般情况下,每个sensor的坏点都不一样,需要sensor厂商给出每个sensor的静态坏点表,但是出于成本的考虑,很多sensor厂商并没有给出,而用户校正的话只能一个一个对其进行校正,因此对于一些低成本的sensor,静态坏点校正的实用性不是很强。 由于在硬件设计的时候需要占用大量的memory,考虑到芯片面积以及一些其他原因,因此静态坏点有大小的限制,不可以无限制的校正。 sensor的静态坏点表一旦写入存储,dpc模块会自动替换坏点表中所示坏点。
tuning:
每个平台标定方法各不相同,但是一般情况下都是根据以下几个步骤进行标定:
1.在黑暗坏境下标定亮点坏点。
2.在有光均匀图像的环境下标定暗点。
3.合并坏点表。
动态坏点校正: 动态坏点的校正可以实时的检测和校正sensor 的亮点与暗点,并且校正的坏点个数不受限制。动态坏点校正相对静态坏点校正具有更大的不确定性。 动态dpc可以分为两个步骤,分别为坏点检测和坏点校正。