最近在用STM32H7这块板子做机器视觉的学习，在这里记录下学习心得与过程。有不对的地方欢迎大家指正。（stm32H7开发板，lcd9332显示屏）
1 ?9 }& n- v$ Y' F' F(一）边缘检测概念
% z- e  z" P8 b- E- P" `边缘是图像的基本特征，图像的边缘通常意味着一个区域的结束与另一个区域的开始，对于图像后续处理与检测有重要作用。
在图像处理中，边缘通常被认为是周围的像素灰度发生阶跃变化或者屋顶变化的像素集合。
边缘的特征是沿边缘走向的像素变化平缓，垂直与边缘走向的像素变化剧烈。
" a; v* W8 @- F- g边缘检测就是采用某种算法来提取出图像中灰度剧烈变化的区域边界，并且将其来接起来的方法。
- M* H3 r, d$ o（二）Canny边缘检测
. o, ~% V/ J/ D2 c: fCanny算子检测是目前使用较为广泛的边缘检测方法之一，本文也是通过canny算子来实现边缘检测的。
9 e9 x8 g5 `2 Y4 ]' G7 o2 W* h其主要步骤为：高斯滤波–>一阶差分算子计算梯度幅值及其方向–>对梯度幅值进行极大值抑制–>双阈值提取边缘。
2 ^) y/ }9 h: f& p# H; @
1. 基于全局阈值的二值化处理
假设某一副灰度图有如下的直方图，该图像由暗色背景下的较亮物体组成，从背景中提取这一物体时，将阈值T作为分割点，分割后的图像g(x, y)由下述公式给出，称为全局阈值处理

0 K: _! E( V- s1 h0 W

% T6 I& q+ T3 |+ _; m' x+ R
基本全局阈值处理方法
- N% l6 l1 T: d5 ~) H. D- f
为全局阈值T选择一个初始的估计值
2 Q7 X, v/ x( Q  {3 t
用T分割图像，产生两组像素：G1由大于T的像素组成，G2由小于T的像素组成
  Q7 ?: w5 X7 B, {6 T
9 G1 L* ]% G8 H& h' A% V  Q对G1和G2的像素分别计算平均灰度值m1和m2
/ Q9 q0 G( N- F. F& |  F
计算新的阈值T = 1/2 * (m1 + m2)
2 ]0 m' F% D5 ]' {. H3 G0 U
( Q* L6 f+ ]6 K( Q+ s重复步骤2-4，直到连续迭代中的T值差小于一个预定义的参数ΔT
5 a3 n$ ]7 T* L代码如下：

1. while(1){
   
2.                         T = 0.5 * (m1 + m2);
   . R: G- R9 X( @& e: \  X. Q
3.                         m1 = 0.0;
   
4.                         m2 = 0.0;
   
5.                         m1_num = 0;
   
6.                         m2_num = 0;
   9 J9 K8 o: {% `, v7 B0 g
7. 
   2 ~2 G8 F" I5 ?* ~/ B
8.                         for (i = 0; i < len; i++){
   
9.                                 if (GetImageData<i> </i><= T){
   
10.                                                 m1 += GetImageData;
    
11.                                                 m1_num++;
    # c6 H9 R' d1 s1 e; Q( Q$ d
12.                                         }
    
13.                                 else{
    
14.                                                 m2 += GetImageData;
    + J1 e" T' C/ h) d/ @
15.                                                 m2_num++;
    
16.                                                 }
    
17. //                                GetImageData+=1;
    
18. //                                DataNum++;
    # ?3 k0 w6 v# L$ \! {2 U( G
19.                         }
    : A: ?4 f0 b0 f
20.                         if (m1_num != 0)
    
21.                                         m1 /= m1_num;
    + H" K' U, j* O
22.                         if (m2_num != 0)
    # x* R  w& d8 o' w! S
23.                                         m2 /= m2_num;
    - u9 \2 e9 ^- Z( p( E
24.                         if(fabs(T-(0.5*(m1 + m2)))<delt_t)
    
25.                                 break;
    
26.         }
    8 A' L) z: t% H# E* R/ ]
27.         GetImageData-=DataNum;
    ' }, [2 _2 z4 t. j( N
28.         for(j=0;j<len;j++)
    ( R: f6 F: u& t: e. P/ u
29.         {
    
30.                 if(GetImageData[j]<=T)
    
31.                         GetImageData[j]=0x00;
    % a+ @1 T; L' R0 Q1 z) N
32.                 else
    
33.                         GetImageData[j]=0xFF;        

复制代码

& N8 n0 c+ ~" w* n原图：

; N5 p% Q; x0 t0 c& a

: {" K& V. g, @. Q! f& T2 K
( v0 e- O! ]; f+ ^6 ]& @0 T二值化之后的图片：

5 D  o) w  W% u8 Q5 Y

我在刚开始做二值化的时候直接给定阈值进行处理，每张图片处理效果都不一样，很多时候会出现去不掉阴影的情况，此处通过参考阈值处理后达到所需要的效果。
3 E( K2 N/ m$ Q! E) R+ F
- T6 W2 {; y' u) y+ V8 z2. 高斯滤波
进行简单的二值化处理之后开始Canny边缘检测的第一部分：高斯滤波。
, T% l; ?1 K# k滤波的主要目的是降噪，一般的图像处理算法都需要先进行降噪。而高斯滤波主要使图像变得平滑。
高斯函数是一个类似与正态分布的中间大两边小的函数。
( {5 i! @5 C/ A4 Y$ i8 X! W对于一个位置（x,y）的像素点，其灰度值（这里只考虑二值图）为f(x,y)。
那么经过高斯滤波后的灰度值将变为：


; E5 j/ f* y) u9 u
6 A* X) }5 J1 k" T- A简单说就是用一个高斯矩阵乘以每一个像素点及其邻域，取其带权重的平均值作为最后的灰度值。

  `! Y; e( D) ?0 K2 Q0 V如下图3x3的像素区域为例，此矩阵中，我们选择的原点（0，0）周围的八个点为其领域：
: A9 Y- w0 |0 p: l" |$ p! k  E

7 H/ L3 T' N* O0 @" w! f
. b3 ~" |5 }9 ?! _* L- A$ }+ c我们设σ=1.5，将这个此区域的每个像素点做高斯变换之后就得到了以下的数据：
4 H. J" {- ]( W0 q/ t

; D; x2 Y1 E3 Q, c9 `  x* d2 E
( S, C1 F( ^+ N) W% X此矩阵为其权重矩阵，这个区域的权重总和为0.4787147，我们需要让他们的权重和为1，于是每个点的值在除以0.4787147，此时我们重新得到了一个3x3的矩阵：
# D4 M' O* m( n( T4 P, r0 @


( H% c1 k; H# M4 d# {6 J有了相应的3x3矩阵的权重值，我们再对原图像素点进行卷积运算，简单来说就是原图中的点附近的3x3大小区域乘以高斯模板区域。
5 C3 D4 R0 W& m; s! \1 F/ ?代码如下：

1. for(i=widthG+1;i<((heightG-1)*widthG)-2;i++)
   % c3 |5 {  p$ v2 g0 @2 G" p" I
2.         {
   , w/ I" [9 ?, N" c: W
3.                         temp=(0.094*ImageNowg[i-widthG-1]+0.118*ImageNowg[i-widthG]+0.094*ImageNowg[i-widthG+1]
   9 C1 n' q% o+ D1 o
4.                 +0.118*ImageNowg[i-1]+0.147*ImageNowg+0.118*ImageNowg[i+1]+0.094*ImageNowg[i+widthG-1]
   
5.                 +0.118*ImageNowg[i+widthG]+0.094*ImageNowg[i+widthG+1]);
   " J% w6 E; q1 y+ [
6.                         
   + c2 p, T1 G9 z
7.                         gerytemp=(u8)temp;
   5 |% L8 r  `& j0 A+ r
8.         }
   " S/ h. O7 ?8 l- W" a
9.         for(j=widthG+1;j<((heightG-1)*widthG)-2;j++)
   ) O8 X4 a$ d- h% S7 i9 W
10.         {
    ( K8 m4 X: v& t* m/ X0 }" T* J7 [
11.                
    
12.                         if(gerytemp[j]>150)
    
13.                         {
    
14.                                         gerytemp[j]=255;        
    : j5 G! C9 _' `  m- c: d7 g: {
15.                         }
    - G5 X0 a  O8 @' f0 |! S" ~
16.                         ImageNowg[j]=gerytemp[j];
    ' N# R) s5 f7 q0 F% a; T- y
17.                         
    
18.         }

复制代码

高斯模糊后的图片（由于显示像素我没有进行色彩转换，高斯模糊的部分不是灰色），其中蓝色的部分为高斯模糊的像素。

" S- q  r/ S' |1 L8 L
3.Sobel算子与极大值抑制
Sobel算子是图像处理中的基本算子之一，他是一离散差分算子，用于计算图像亮度函数的梯度近似值。
Sobel算子有两个，一个是水平算子，一个是垂直算子。由于Sobel算子是滤波算子公式，用于提取边缘，可以利用快速卷积函数，简单有效，在Canny边缘检测被作为常用算子之一。
Sobel算子也是一种梯度幅值，该算子包含两组3x3的矩阵，分别为横向与纵向，将之与 图像作平面卷积既可以得出横向及纵向的灰度差分近似值。假设原图像为I，横向边缘检测图像为G(x),纵向边缘检测图像为G(y)，模板卷积因子如下：

1 |) U! i5 r. [4 V% F5 T

有了模板卷积因子，我们计算出每个像素点的横向纵向梯度近似值之后，需要知道梯度的幅值大小以及梯度放向，梯度幅值由以下公式得出：
% W6 c1 A8 z$ z/ g. h) c* yG=|G(x)+G(y)|
1 o  O* W- N" H' `9 X, Z梯度方向公式：
- D# L5 {& @# p; U$ pΘ=artan(G(y)/G(x))
计算出梯度幅值之后，对图像进行门限处理，设定门限值为T，梯度幅值大于T时，规定该像素点的灰度值为0XFF，否则为0，即：


& m- B8 P  E3 s+ C) p, C
1 K" V5 c! [# J- A" r9 j- U) v非极大值抑制
在Sobel算子对图像进行处理之后，图像的边缘不能作为最佳边缘，边缘有且应当只有一个准确的响应。非极大值抑制作用是对于梯度不是最大值的点进行抑制，对梯度图像中每个像素进行非极大值抑制的算法是：
! }& N9 A0 X) i/ ~
1.将当前像素的梯度强度与沿正负梯度方向上的两个像素进行比较。
5 R2 F; J4 t; x0 ~6 T2.如果当前像素的梯度强度与另外两个像素相比最大，则该像素点保留为边缘点，否则该像素点将被抑制。
如下图所示，其中P点为当前像素点，P1,P2为领域像素梯度幅值比较点，在这三点当中，如果P点的幅值是最大值，则保留，如果不是则抑制：

% ]7 ^/ l& G) O4 F
为了方便计算，通常会在俩个相邻像素（G(i+1,j-1),G(i+1,j))，之间采用线性插值的方法计算P1，P2的梯度幅值。
! U; N# e0 @& h: P2 |具体计算方式如下：
P2=（1-tanΘ)xG(i+1,j)+tanΘxG(i+1,j-1);
, y( T( X7 L+ ?* E6 D" Y1 q6 e( ^
! v: r1 A8 \) uP1=（1-tanΘ)xG(i-1,j)+tanΘxG(i-1,j+1);
代码如下：

1. for(i=widthS+1;i<((widthS-1)*(heightS-1))-2;i++)
   + P9 h# P7 n) O4 |" I* ]
2.         {
   # j; G3 ?! p. O! l# K, z+ I
3.                
   / W; F# `. g5 F$ g4 W2 T
4.                 i00=ImageNow[i-widthS-1];
   
5.                 i01=ImageNow[i-widthS];
   9 G9 u+ i, L; V0 j( a$ |! O0 O
6.                 i02=ImageNow[i-widthS+1];
   
7.                 i10=ImageNow[i-1];
   ( T/ r( \9 I. C: l1 ^' R% m/ i
8.                 i12=ImageNow[i+1];
   
9.                 i20=ImageNow[i+widthS-1];
   
10.                 i21=ImageNow[i+widthS];
    , E' B4 k; p$ V6 B' Y1 f5 H6 i$ Z
11.                 i22=ImageNow[i+widthS+1];
    ' M; A, l1 w! N7 _2 F
12.                
    
13.                
    
14.                 V=-i00-2*i01-i02+i20+2*i21+i22;
    9 \" i+ ]+ ^5 k  D& G& ]
15.                 H=-i00+i02-2*i10+2*i12-i20+i22;
    ; s+ A* J7 v1 h4 r
16.                
    
17.                 grey=(u8)abs(H)+(u8)abs(V);
    
18.                
    
19.                         if(grey==0)
    
20.                 {
    
21.                         ImageOperation=0x00;
    
22.                         continue;
    
23.                 }
    
24.                 else
    5 w0 |2 K7 R8 v! _8 m; U# o' u
25.                 {
    * K* s* c  a; y* z/ c6 W
26.                         if(abs(H)>abs(V))///X///
    
27.                         {
    : k7 `/ U5 t3 r; q$ F5 J7 |) J4 n! B5 {+ D
28.                                 weight=abs(V)/abs(H);
    * d; g: B: @, \2 \) ^
29.                                 if(H*V>0)
    
30.                                 {
    1 S! E/ f8 F" h* k7 T
31.                                         comp1=grey[i+1]*(1-weight)+grey[i-widthS+1]*weight;
    
32.                                         comp2=grey[i-1]*(1-weight)+grey[i+widthS-1]*weight;
    
33.                                 }
    4 Z8 P: U/ p+ v& u1 t6 |3 j
34.                                 else
    . q6 {$ ~$ Z+ x
35.                                 {
    
36.                                         comp1=grey[i+1]*(1-weight)+grey[i+widthS+1]*weight;
    
37.                                         comp2=grey[i-1]*(1-weight)+grey[i-widthS-1]*weight;
    
38.                                 }
    
39.                         }
    ) G0 T( D: j; g$ C1 ~% [
40.                         else/Y/
    
41.                         {
      w2 S! e7 M6 S) V4 a5 }
42.                                 weight=abs(H)/abs(V);
    7 ]4 _- F/ `& a/ O6 h+ E3 Z7 ]4 K
43.                                 if(H*V>0)
    ! j" d) d$ D5 U1 y* H0 ~( k6 n
44.                                 {
    
45.                                         comp1=grey[i-widthS]*(1-weight)+grey[i-widthS+1]*weight;
    
46.                                         comp2=grey[i+widthS]*(1-weight)+grey[i+widthS-1]*weight;
    
47.                                 }
    
48.                                 else
    : b; X% r$ l6 b
49.                                 {
    . J7 F! a+ k' X0 z4 V9 r
50.                                         comp1=grey[i+widthS]*(1-weight)+grey[i+widthS+1]*weight;
    
51.                                         comp2=grey[i-widthS]*(1-weight)+grey[i-widthS-1]*weight;
    + y# p% y* t4 _/ |6 Z
52.                                 }
    5 _: [) A" P8 r; d3 j/ s5 R
53.                         }
    % R8 r4 h$ K( S; K
54. 
    
55.                                 if((grey>comp1)&&(grey>comp2))
    
56.                                         ImageOperation=0xff;
    
57.                                 
    
58.                                 else
    
59.                                 ImageOperation=0x00;
    
60.                 }
    
61.                
    & I. q. }& j4 q3 t1 q6 x
62.         }
    
63.         for(j=widthS+1;j<((widthS-1)*(heightS-1))-2;j++)
    
64.         {
    5 v( [( X' F- X
65.                         ImageNow[j]=ImageOperation[j];
    
66.         }

复制代码

& u# F. g8 J5 N" m8 n6 H: y9 y代码中有判断当前像素梯度方向落在哪个象限的代码，具体看代码。
效果图：

: ?6 W2 ?: ^/ R# @$ D
, K8 d% |/ M/ c  Q

( z/ W9 F( V7 j6 p" l
4.双阈值处理
; W$ z- R" b' K. f& o在施加非极大值抑制之后，剩余的像素可以更准确地表示图像中的实际边缘。然而，仍然存在由于噪声和颜色变化引起的一些边缘像素。为了解决这些杂散响应，必须用弱梯度值过滤边缘像素，并保留具有高梯度值的边缘像素，可以通过选择高低阈值来实现。如果边缘像素的梯度值高于高阈值，则将其标记为强边缘像素；如果边缘像素的梯度值小于高阈值并且大于低阈值，则将其标记为弱边缘像素；如果边缘像素的梯度值小于低阈值，则会被抑制。阈值的选择取决于给定输入图像的内容。
具体实现代码如下：
9 M7 t# }7 {  c% o1 A

1. 
   - G0 p% g+ J& g
2. nhist=(int*)malloc((400)*sizeof(int));
   . n1 W* k3 @9 F( K! L- z
3.         
   ' p5 s! U+ n# j. M3 d$ S4 q6 J. j
4.         for(i=0;i<400;i++)
   
5.                 nhist=0;
   
6.         for(i=0;i<widthS*heightS;i++)
   
7.                 if(ImageNow==0xff)
   
8.                         nhist[grey]++;
   0 T& J' K% b9 L( _% ~
9.         sum=0;
   
10.         for(i=0;i<400;i++)
    
11.                 sum+=nhist;
    8 J, Z5 Z. _+ R+ `0 R0 e+ x
12.         sum2=0;
    
13.         for(i=0;i<400;i++)
    
14.                 {
    
15.                         sum2+=nhist;
    
16.                         if(sum2>(0.7*sum+0.5))
    
17.                         {
    
18.                                 high=i;                                                        //取出高阈值
    
19.                                 break;
    
20.                         }
    
21.                 }
    / o9 U' v& K7 b; ?; Q
22.         low=(int)(0.4*((float)high)+0.5);//取出低阈值
    6 t/ \% B+ i+ _7 W
23.         free(nhist);
    
24.         
    # y6 A2 T: _' v- d: |
25.                 for(i=widthS+1;i<widthS*heightS;i++)双阈值检测处理
    0 z# u9 u" Q( K
26.                 {
    
27.                         if((grey>=high)&&(ImageNow==0xff))
    
28.                                                         ImageNow=0xff;
    
29.                         else if(grey>low&&grey<0xff)
    
30.                         {
    8 [$ n2 I' g: [- @3 H1 p3 Z, M2 f# h
31.                                 judge=1;
    
32.                                 while(judge)
    + e1 ?! a7 Q: N! n/ v! w$ O
33.                                 {
    / P7 M+ E7 |6 s' X  F9 x* ?
34.                                         for(j=-widthS;j<widthS+1;j+=widthS)
    
35.                                         {
    
36.                                                 for(k=-1;k<2;k++)
    
37.                                                 {
    
38.                                                         if((grey[i+j+k-1]>low)&&(ImageNow==0xff))
      m5 g  m0 s& g; m# @  M
39.                                                         {
    4 j* O- z, W  E- [# b9 s. K
40.                                                                 ImageNow[i+j+k-1]=0xff;
    8 t/ V7 v" p, D1 q; Y3 ]
41.                                                                 i=i+j+k;
    & N2 w% @" k+ g5 ?* q
42.                                                                 cnt=0;
    4 c) b6 {7 O5 C1 ~# D
43.                                                                 break;
    . n$ X1 n, [* u- g! |
44.                                                         }
    
45.                                                         else
    ' `6 Z. i( H8 u' V7 l; s
46.                                                                 cnt++;
    ) Y8 l1 c9 N% n: \" v0 C8 f8 W
47.                                                         if(cnt>=8)
    
48.                                                         {
    ; F3 ^8 ]! E6 i8 m* Y! v
49.                                                                 cnt=0;
    
50.                                                                 judge=0;
    " R( K" V5 E! I, U! |1 {
51.                                                                 break;
    * P. T/ U, u+ G  T3 v  w
52.                                                         }
    
53.                                                 }
    
54.                                                 if(judge==0||cnt==0)
    
55.                                                         break;
    
56.                                         }
    
57.                                         if(j>widthS+1||cnt==0)
    
58.                                                 judge=0;
    ' p& G  q! t4 v
59.                                 }
    $ Y! l4 F% g& M
60.                         }
    ! G) F: m  u4 f1 C: |! B
61.                         else
    
62. <i>                                              </i>          ImageNow<span style="font-style: italic;"><span style="font-style: normal;">=0;</span>
    2 z& V1 F/ c. [* h
63.                </span> }
    0 D2 R8 Y1 \6 D& f

复制代码

处理效果图：

& _1 N3 G; t" i8 e# U由于我的图片噪声较小，与上一步的处理结果看不出太大的差别。

stm32h7的Canny边缘检测算法基本完毕，在32上运行起来和Matlab上的差距很大，我觉得应该是我图片存储方式的问题，我这里是用ImageLcd软件将图片直接转为一维数组进行操作显示的。建议使用SD卡存储图片在读取运算（由于我手头没有SD卡只能用这种方式）。


; x! s, p$ ~& B/ U4 U3 o( E9 X