STM32 ISP IQTune：真正零门槛的免费ISP调整软件

/ u3 a* F9 c7 H. b

STM32 ISP IQTune是首款面向大众市场的通用微处理器的ISP调试软件工具，旨在帮助开发人员针对CMOS图像传感器(及镜头)和图像信号处理器 (ISP)进行调优，无需第三方服务或丰富的专业知识。该桌面应用程序可以分析图像质量、色彩准确性，也能提取统计信息进行分析。然后与嵌入式系统上运行的程序（称为ISP IQTune嵌入式应用程序）通信交互，后者可以查询调整ISP的寄存器，以确保适当的白平衡、色彩准确性等。STM32 ISP IQTune不仅支持STM32N6，还同步支持STM32MP2的ISP，可在Linux、macOS和Windows上使用。

7 y/ {9 Q. H. Q9 J' s% Q# S; l5 \调整，绝非多余
# ?5 e" Z1 Y4 S  D4 [# P' I智能手机的普及在不知不觉间让公众间接意识到ISP对图像质量的影响。事实上，虽然大多数消费者不知道ISP的具体含义，但他们知道不同手机的图像质量可能会因处理过程的不同而大相径庭。原因在于，两款手机可能使用相同的图像传感器，甚至相同的镜头，但ISP处理CMOS原始数据的方式会对最终产品产生重大影响。例如，ISP通过解析数值来确定色彩和曝光，并可能应用滤波器来消除噪音或平滑某些区域。
& @+ M. `2 A& r9 U+ f" K1 B
以往所需的专业知识
8 q1 Y# q, U& f( D0 O( \5 `. ^针对特定传感器调整ISP至关重要，因其在图像处理管道中起到了核心作用。由于涉及的参数和调整繁多，这可能导致工程上的难题，因此，许多小型团队通常选择依赖传感器供应商的推荐设置。例如，要知道如何调整色彩平衡以确保最佳色彩精确度，可能需要大量的试错，这可能会减慢开发速度。此外，并非所有传感器制造商都提供其组件的ISP调整指南，因此，工程师不得不依赖于成本较高的第三方顾问。
+ O) ^" A5 o+ q9 O- `7 }
替代方案
1 s- h& v# F' h1 s* USTM32 ISP IQTune的独特之处在于，它能够自动调整ISP以适应特定的传感器和镜头，从而解决了这一问题。其自动计算功能让开发人员无需猜测或花费时间测试各种配置。此外，图形用户界面让整个操作过程更加简便，即使是新手也能轻松上手，大大降低了入门门槛。有些公司可能会聘请专家在生产前优化最终图像。只要图像质量符合预期，团队便可以拥有了一款足以用于生产的免费替代方案。

STM32 ISP IQTune的关键作用
眼见为实
9 m6 l, i4 {1 I* W$ w& E为了便于ISP调整操作，STM32 ISP IQTune提供了实时预览功能。用户可通过USB端口将MPU/MCU开发板连接到运行应用程序的PC上，系统会在保存所有设置后确保自动反馈。此外，由于实时预览是直接从图像处理管道获得的信息，而不是模拟或近似信息，因此开发人员可以确保他们在屏幕上看到的内容是准确的。完成该过程后，系统将为STM32MP2生成一个YAML文件，用于初始化。我们还使用Linux上的libcamera框架，以帮助功能实施，甚至提供X-LINUX-ISP，用于将所有工具、中间件和应用示例捆绑在一个软件包中。

▲ STM32 ISP IQTune的屏幕截图

细节决定成败
在STM32 ISP IQTune的后台，开发人员能够对图像处理管道的各个环节进行调整，这些调整的复杂程度各不相同。对于较简单的需求，我们提供2A算法。"2A"源于使用代码控制自动曝光 (automatic exposure) 和自动白平衡 (automatic white balance)。仅通过上述调整就已经对最终图像产生了巨大影响，并将帮助开发人员实现80%的预期效果。开发人员还能通过STM32 ISP IQTune调整像素校正算法，纠正处理过程中可能出现的伪影。
7 f# g2 e5 n- W% O此外，STM32 ISP IQTune还具备粒度更细的调整能力。例如，调整黑阶水平，根据图像处理管道修改分辨率，调整Bayer阵列和其他滤波器，或更改对比度和伽玛转换设置等。这些调整都很容易实现，因为STM32 ISP IQTune桌面应用程序提供了一个图形用户界面 (GUI)，用户可以通过它访问和修改所有这些设置。
9 A8 {. j! j5 l5 Y) p9 `然后，软件会将新配置发送到在MPU/MCU上运行的ISP IQTune嵌入式应用程序，该程序将配置设备的寄存器，然后更新实时预览以显示最终结果。简而言之，这种独特的解决方案之所以能够实现，是因为意法半导体能够同时提供硬件和软件。
4 v5 e2 G( r* P, K
& f  M4 d% c! o* ~3 _硬件的支持作用
: M5 Z% b3 x, T" H" ~0 I% Q定制的必要性
+ t" ^, g" Q# u7 x) {. k
意法半导体在STM32MP2/STM32N6内部设计了ISP。我们将其命名为DCMIPP（数字摄像头存储器接口像素处理器），这反映了我们的愿望：优先优化计算机视觉应用和其他使用摄像头的嵌入式系统。这也解释了我们为什么要设计这样一个ISP。事实上，消费类摄像头的ISP会更大，因为它需要包含高动态范围、极致降噪或镜头阴影等功能。虽然这些功能在数码单反相机或智能手机摄像头中必不可少，但在机器学习应用中却毫无用处。相反，意法半导体的ISP应用了特定滤波器，这些滤波器大大提高了神经网络的准确性，同时满足消费者拍照的基本需求。
0 _; v6 D5 E, J$ ]( R

▲ ST BrightSense CMOS图像传感器

8 Q2 H7 o. e, }注重智能，而非体积
3 ]& I6 N9 A3 ~2 R' t通过按需定制DCMIPP，我们最终优化了IP在硅片上所占的空间。例如，通过跳过计算机视觉应用中几个无关紧要的步骤，成功地缩小了负责去马赛克处理的单元。同样，我们每次只输出和执行几行统计信息提取，而非存储整个画面，因为这样做有助于节省空间，且不会对机器学习算法造成影响，毕竟该算法不需要一次性处理整个画面。简而言之，调整ISP固然重要，但为计算机视觉定制ISP也同样重要，否则工程师将面临资源浪费且误差增大的风险。

+ f, K. `& ?, Z( t" p- W 一分耕耘，一分收获
5 D* Z; A0 d/ z5 ?4 K6 `4 B$ D此外，虽然DCMIPP和STM32 ISP IQTune软件可与任何图像传感器配合使用，但我们还是提供了一套CMOS传感器产品组合——ST BrightSense。无论团队需要的是全局快门、卷帘快门，还是两者兼备，也无论他们需要的是RGB还是单色，我们都能提供像素在38万到510万之间的器件。我们甚至具有适合汽车中现代计算机视觉应用的车规级传感器，而Xvisio Technology等合作伙伴[已经在空间计算系统中采用了ST BrightSense元件]。这一点很重要，因为虽然我们追求灵活性，但也清楚并非所有传感器都具备同等性能，ST的传感器可以为客户提供更多的选择。
8 }6 X; |8 B1 v: E

, E+ B! `4 m, ]# L( O