今天来学习ISP调试（理论学习）

一、STM32N6 Camera 系统架构

1、STM32N6 摄像子系统IP

①DCMI 以前MCU的保留外设，提供兼容性 通过并行端口，用作第二个摄像头的输入 ②DCMIPP 新设计的DCMI, 提供: ISP, Demosaicing, 像素处理. 提供比DCMI更高的性能、分辨率、质量和功能 ③CSI-DPHY 2 DataLanes (和一个 ClockLane) 2.5 Gbit/s 每lane (尽管传感器通常限制在1 Gbit/s) ④CSI2Host CSI所需的控制器 CSI的解包处理。

2、DCMIPP 系统框图

3、DCMIPP 管线功能

①Pipe0-Dump: 保留的Pipe（如DCMI）、统计 、 原始拜耳可用于静止图像：SW-ISP 和 JPEG编码 ②Pipe1-ISP: 将RawBayer转换为标准全分辨率RGB 调整曝光、白平衡等。 ③Pipe1-PostProc: App1的后处理 根据App1的需求调整全分辨率RGB：捕获率、裁剪、调整大小、颜色转换等… 能够转换为YUV420进行JPEG或H264编码 ④Pipe2-PostProc: App2的后处理 根据App2的需求调整全分辨率RGB：捕获率、裁剪、调整大小等… Pipe2应用程序可以在Pipe1 ISP之前在入口处输入数据（RGB）

4、DCMIPP CSI 连接摄像头模组

5、CMOS 图像传感器

6、性能说明

①DCMI:

并行: 最大 80 MHz to DCMI (最大宽度14位)

带宽:最大 24 MPix/s (DMA 限制)

②DCMIPP:

并行: 最大 120 MHz to DCMIPP (最大宽度 16位)

CSI:最大 2.5 Gbps x2 Lanes (大部分的sensor输入为1Gbps)

像素管道: 最大 333 MPixel/s (大概 2x vs 5MPix-30Fps + blanking)

带宽:最大 2.8 Gbyte/s (正常工作在400 MHz)

分辨率: 最大 4094 x 4094 (注意: 不是 4096 ..)

滤波器: 最大 2688 像素宽 (该定义适用于所有市面上的500万像素传感器)

限制源自：RawBayer-to-RGB, Downsize, YUV420 转换

二、DCMIPP ISP 简介

1、常见ISP功能

①3A : (AF, 自动对焦；AE, 自动曝光；AWB, 自动白平衡)

②降噪:3DNR（3D降噪），2DNR （2D降噪），ANR: Advance noise reduction（高级降噪）；CNR(color，色度降噪), 根据亮度去燥；MFNR(multifame noise reduction，多帧降噪), WNR(wavelet noise reduction，小波降噪)；BadPixelRemoval, BLC, LSC ( Lens Shading Correction，镜头阴影校正 ）

③防抖: (EIS，Electronic image stabilization，电子防抖)

④Demosaic（去马赛克）, CC（色彩校正）,

⑤Zoom, Decimation（抽取）, Downsize（缩小）

⑥Gamma, Contrast（对比度）, Sharpness（锐度）

⑦HDR(high dynamic range，高动态范围)

⑧其它：Defog（去雾）, 去伪彩 ，自动场景识别处理（如肤色）

2、DCMIPP 管线框图

3、Pipe1-ISP 架构框图

4、ISP 模块功能

①接口

并行 或 CSI2专用输入，适应低分辨率与高分辨率传感器.

②ISP

统计数据移除（Statistic Removal）----去除一些包含传感器统计数据的非视频像素行。

坏点去除（Bad Pixel Removal）-----去除屏幕上的白点

抽取（Decimation）----纵向降低采样率 1,2,4,8x. 适用于过高分辨率的传感器.

黑色基准校正（Black-Level）----数据上向下偏移传感器输出零点，从深灰色调整至纯黑色。

曝光&白平衡（Exposure & WhiteBalance）-----R,G,B数据线性乘法处理

去迈赛克（Demosaicing）----原始拜耳到RGB888的插值处理

颜色转换（Color Conversion）----RGB值调整，采用完整的矩阵乘法运算。

对比度增强（Contrast Enhancement）----非线性调节对比度(RGB整体相乘).

统计提取（Statistic Extraction）----提取R、G、B的平均值或直方图统计(12 分箱)

③应用管道 (Pipe1&2-后处理)

帧控制（Frame Control）---- 帧控制，单帧(snapshoot) 或连续模式等

裁剪（Crop）----裁剪（能够用来增加图像的稳定性）

缩减（Downsize）----箱式-滤波器，外带抽取（8x）功能

关注区域（ROI）----支持绘制8个带颜色的正方形

Gamma转换----非线性转换, 参数固定 (用来匹配标准的屏幕)

YUV 转换----矩阵运算（乘、加、门限）, 从RGB 转 YUV

YUV444 转 422/420---- 色度通道降采样, 用于后续的 视频/JPG 编码

像素映射（Pixel Mapping）---- 可转RGB8888, 888p, 565, 等, 并可共面/半面/全面（coplanar/semiplanar/fullplanar）

5、自动曝光

6、曝光补偿

①根由:曝光不良需要补偿。

②功能:

输入分量(RGB)上应用线性放大，8位饱和。

--线性放大减少色彩失真（R与G与B）。

--曝光和白平衡操作是纯线性的，如果执行正确，不会扭曲颜色。

R、G和B（包括原始拜耳像素）使用不同的常数。

曝光可由SW配置，以适应实际场景

--SW可以使用统计提取来计算理想的放大系数。

--图像传感器增益或曝光不足时使用 。

7、自动白平衡

三、DCMIPP:管线后处理

1、DCMIPP 管线架构

2、后处理功能

①接口

并行 或 CSI2专用输入，适应低分辨率与高分辨率传感器

②ISP

统计数据移除（Statistic Removal）---去除一些包含传感器统计数据的非视频像素行。

坏点去除（Bad Pixel Removal）---去除屏幕上的白点

抽取（Decimation）---纵向降低采样率 1,2,4,8x. 适用于过高分辨率的传感器.

黑色基准校正（Black-Level）---数据上向下偏移传感器输出零点，从深灰色调整至纯黑色。

曝光&白平衡（Exposure & WhiteBalance）--- R,G,B数据线性乘法处理

去迈赛克（Demosaicing）---原始拜耳到RGB888的插值处理

颜色转换（Color Conversion）---RGB值调整，采用完整的矩阵乘法运算。

对比度增强（Contrast Enhancement）----非线性调节对比度(RGB整体相乘).

统计提取（Statistic Extraction）---提取R、G、B的平均值或直方图统计(12 分箱)

③应用管道 (Pipe1&2-后处理)

帧控制（Frame Control）--- 帧控制，单帧(snapshoot) 或连续模式等

裁剪（Crop）---裁剪（能够用来增加图像的稳定性）

缩减（Downsize）---盒式-滤波器，外带抽取（8x）功能

关注区域（ROI）---支持绘制8个带颜色的正方形

Gamma转换---非线性转换, 参数固定 (用来匹配标准的屏幕)

YUV 转换---矩阵运算（乘、加、门限）, 从RGB 转 YUV

YUV444 转 422/420---色度通道降采样, 用于后续的 视频/JPG 编码

像素映射（Pixel Mapping） ---可转RGB8888, 888p, 565等, 并可共面/半面/全面（coplanar/semiplanar/fullplanar）

3、Pipe1-后处理 (含YUV转换)

4、Pipe2-后处理 (不含YUV转换)

还是有很多不慎理解的，后续慢慢理解