文章图片




文章图片




文章图片




文章图片




文章图片




文章图片




昨天 ， OPPO正式发布首款自研NPU芯片——马里亚纳MariSilicon X ， 这颗芯片采用台积电6nm工艺和DSA新黄金架构 ， 集成自研的MariNeuro AI计算单元以及MariLumi影像处理单元 ， 在设计之初就将AI和图像处理进行了融合 ， 相比传统的ISP有更高灵活性和更高性能 ， 用计算摄影突破手机影像功能的极限 。

在此之前 ， 小米和vivo也都推出过自研的ISP芯片 。 问题来了 ， 为什么现在手机厂商这么热衷于ISP的研发 ， 这个模块对成像来说到底有多重要？

简单来说 ， ISP（Image Signal Process 图像信号处理器 ， 又称成像引擎）是手机拍照/摄像流程中的核心单元之一 。 一张照片 ， 一段视频 ， 最终呈现的色彩和细节都取决于它 。
ISP所扮演的角色
当你按下手机相机APP的（虚拟）快门进行拍照或录像时 ， 就会自动进入一场“视觉处理的接力赛” 。
首先 ， 光线通过镜头进入相机模组内部 ， 经过IR Filter过滤红外光 ， 然后到达CMOS传感器 。 这个时候 ， CMOS会将光学信号转换为电信号 ， 再通过内部的ADC电路转换为数字信号 ， 然后传输给ISP进行加工处理 ， 再经历AI单元的一轮智能成像算法优化后 ， 最终才能生成肉眼可见的图片或视频文件 。

问题来了 ， 镜头和CMOS在将光学信号转化为由0、1、0、1组成的数字信号时可能存在细节上的遗漏和错误 ， 而ISP单元的主要任务就是进行“纠错”、“校验”和“补偿” 。
这就好比让你用英文翻译一段中文成语或谚语 ， 需要翻译官具备足够的文学素养 ， 才能用英语准确表达出中文语境的博大精深 。 没错 ， 此时ISP扮演的就是“翻译官”的角色 。
细数ISP的补偿任务
智能手机的镜头是由5片起步的镜片、滤光装置、马达、陀螺仪等部件构成 ， “透光率”是权衡镜头性能的重要指标 。

通常手机主摄的镜片数量要多于副摄镜片数量
CMOS更是核心部件 ， 传感器尺寸、像素值大小、RGGB或RYYB滤镜结构、单位像素面积、多像素合一技术等等都会影响它的性能 。
换句话说 ， 镜头和传感器本身都存在物理缺陷 ， 从7P→8P的镜头到IMX586→IMX700的CMOS ， 不断的迭代升级只能无限趋近完美 ， 而这就意味着经由它们转化而来的数字信号的原始数据（raw data）都是不完美的 。

CMOS传感器尺寸越大 ， 理论上其成像底蕴就越好
另一方面 ， 当我们进行拍照或视频录制时的环境光线条件多种多样 ， 需要镜头和CMOS像人眼瞳孔缩放那般适应环境明暗 。
作为翻译官的ISP ， 其主要任务就是对存在物理缺陷的原始数据进行优化补偿 ， 并还原出最符合我们预期的明暗效果 ， 比如防止逆光时过曝 ， 看清暗光时的画面细节等 。 ISP是由很多功能模块构成 ， 下面我们就简单介绍一下ISP的功能模块以及需要补偿的部分内容：
BLC：黑电平校正
【趁着OPPO发布影像专用NPU的机会 聊一聊ISP到底有啥用】数字信号对纯黑的原始数据定义为0 。 但由于CMOS存在“漏电流”的缺陷 ， 将镜头放入一个纯黑的环境时 ， 经过镜头和CMOS输出的原始数据却不为0 。 此时 ， 就需要ISP内的BLC（BlackLevel Correction）模块登场 ， 通过对所有像素减去特性的矫正值 ， 获得一个矫正成功的结果 ， 这一过程即黑电平校正 ， 让原始数据可以显示纯黑画面 。