CMS 与摄像机的ISP调试

发布时间: 2024-12-01 11:45:20

作为从 raw图，处理成大家能看清的 RGB图，ISP 的基础模块肯定是必备的。但是作为车载场景，它的特色必然有以下几点，我随便挑选几个场景聊聊，主要是引出我对 ISP pipeline的一些看法。

1，去炫光，强光

作为户外场景，炫光，强光是必然存在。部分场景肯定是要通过结构或者镜头去避免，当然在ISP 层面也需要做出一些处理。首先大家能想到的就是曝光时间和增益，也就是AE 的部分。

比如上述两幅画面，此时面对你的亮度直方图和亮度值，你除了发现此特征就是出现了炫光强光，需要调整AE 之外，在pipeline部分还需要做什么呢？留到下文。

2，去雾

车载场景中必然要去雾，传统算法的去雾效果确实效果一般。AI 去雾应该效果会好一些，但是测试集应该比较难搞，毕竟是车载行业，而不是demo的东西。给大家看看两张测试集的图。

如果AI 去雾真能达到这个效果，那以后再也不怕大雾天气了。那么这个功能就不是放在后视镜，而是放在了ADAS上了。如果真有强力去雾的算法，不管是AI 去雾，还是传统算法去雾，总不能把有雾的图和没有雾的图一视同仁吧，除非是去雾效果一般般，去雾算法用在常规图像上影响也不大。那么这个对 pipeline有什么影响呢？

3，去雨滴，

去雨滴，我觉得是可能是最难的了。一般的场景可没有这个东西，所以这方面的资料和研究成果较少，这几年才有人关注的场景。找到了一个用AI，单幅图上去雨滴的论文，看看里面的效果确实很好的样子。（当然还有雨线场景没讨论）。

但是从传统算法的来说，去雨滴必然会引起图像模糊，于是后期肯定要加上图像增强，色彩恢复等算法。当然也可以理解为AI 算法中包含了这两个。如果哪天这些问题很好的解决了，用AI 还是传统算法不重要。

下图是我在B站上公开的一个 ISP pipeline，其中AE,AF其实没有向下流的节点。

当然大家还能看到很多 ISP pipeline，比如这些。

还有很多眼花缭乱的 ISP pipeline。那结合我在上面说的，你现在还觉得 ISP pipeline 还是张这样？

按照我上面说的除炫光，那么这个部分应该是这样的流程。

除了模块之间的相互反馈，相互影响，可能横跨几个模块之外。还有就是帧间反馈，除了AE,AF，有些去噪，增强，也会用本帧信息改善下一帧的图像的处理策略。从而让图像变得更好。

画虎画皮难画骨，不是抄袭了一个 ISP pipeline就觉得会了。更多的是你需要慢慢思考，为什么有这个模块，为什么要放在这个位置，它和其他模块有没有联动的可能。成熟的 ISP pipeline 必然是网状结构，而不是火车链条，模块之间会联动起来，保障输出图像的稳定。

所以，直接用直方图均衡算法来处理视频的小伙伴，发现视频亮度一闪一闪的，在我的提示下，可想到应对策略啦？

最近有两个公司找我面试，都是一上来只问 ISP pipeline相关的东西，模块还不感兴趣，只问pipeline，其他项目和技术只字不提，问完了 ISP 面试官做好了笔记就让我走人，其他一句话不说。他们是不是对 ISP 有什么误会。给大家看一张某内窥镜公司的成果图，ov2740肠胃镜的。这也是算法团队加FPGA团队的结果啊。要抄的话，可连这个效果都达不到啊。

【支持红外夜视IRCUT的4G智能安全帽BW620Y，内部主板型号有，SAE01, W20, k61v1_32_bsp_1g, k62v1_64_bsp， soq_azw_05_Natv，soq_azw_01_Natv，AZW003，aqm6816，soq_azw_01_Natv，SC161, W25，比传统的白光照明灯效果要好很多，可以规避大的亮的光斑，可以在雾天使用。-哔哩哔哩】 https://b23.tv/C36wsnX