基于最小二乘和最小投影距離的車牌傾斜校正

引 言

車牌識(shí)別系統(tǒng)是智能交通管理和控制系統(tǒng)的重要組成部分，主要包括車牌定位、字符分割和字符識(shí)別三部分。在實(shí)際應(yīng)用中，人們通過(guò)架設(shè)在道路上方或一側(cè)的 CCD 像機(jī)獲取原始車牌圖像。由于是對(duì)運(yùn)動(dòng)車輛進(jìn)行拍攝，攝像角度不停地變化，攝像機(jī)不能完全保持和車輛垂直，因而導(dǎo)致圖像中的長(zhǎng)方形車牌畸變成具有一定傾斜度的平行四邊形。這種傾斜會(huì)給下一步的字符分割帶來(lái)一定的難度，進(jìn)而影響字符的正確識(shí)別。

因此，車牌傾斜校正是實(shí)現(xiàn)車牌定位和字符分割的一個(gè)不可或缺的步驟。

目前常用的車牌傾斜校正算法主要有旋轉(zhuǎn)投影法、Hough 變換法和主元分析法。旋轉(zhuǎn)投影法是將字符區(qū)域向坐標(biāo)軸上投影，并利用最小投影距離獲取錯(cuò)切角進(jìn)而完成車牌校正，此方法中求取錯(cuò)切角是一個(gè)不斷尋優(yōu)的過(guò)程，計(jì)算量比較大 ；Hough 變換法是通過(guò)對(duì)車牌圖像進(jìn)行多次邊緣檢測(cè)來(lái)求取錯(cuò)切角，由于實(shí)際拍攝到的圖像常伴有噪聲和污跡的干擾，車牌邊框不明顯，因而容易導(dǎo)致校正效果不明顯；主元分析法是對(duì)圖像像素矩陣的協(xié)方差進(jìn)行特征分析，從而獲得坐標(biāo)變換矩陣來(lái)進(jìn)行車牌校正，但該方法在噪聲較大和奇異點(diǎn)較多時(shí)，其校正精度會(huì)有所下降。

本文提出一種基于最小二乘和最小投影距離的車牌傾斜校正方法，該算法利用了最小二乘法擬合直線對(duì)車牌進(jìn)行水平校正，同時(shí)利用基于塊查找的最小投影距離法來(lái)對(duì)車牌進(jìn)行垂直傾斜校正。

1車牌校正算法

通過(guò)對(duì)傾斜車牌圖像進(jìn)行分析不難發(fā)現(xiàn)，傾斜車牌 往往呈一個(gè)平行四邊形，根據(jù)車牌的傾斜方向不同，可分 為水平傾斜、垂直傾斜和混合傾斜。在圖像的水平傾斜 中，車牌的水平主軸X'與圖像的水平主軸X之間存在一個(gè) 夾角a,由此，將整個(gè)圖像繞質(zhì)心旋轉(zhuǎn)a,即可將圖像在水 平方向校正。而在圖像的垂直傾斜中，實(shí)際是車牌相對(duì)于X 軸在y方向的錯(cuò)切變換，所有像素在水平方向的錯(cuò)位偏移， 因此，只要求岀垂直方向的傾斜角度代再將圖像在垂直方 向作錯(cuò)切變換。這樣，經(jīng)過(guò)以上兩部分校正，車牌即被完 全校正?；旌蟽A斜包括水平傾斜和垂直傾斜，在實(shí)際的校 正中，可先對(duì)圖像進(jìn)行水平傾斜校正，然后在此基礎(chǔ)上進(jìn) 行垂直傾斜校正，從而完成整個(gè)校正過(guò)程。

定位后的車牌通常是灰度圖片，因此，首先要對(duì)車牌 圖像進(jìn)行二值化。車牌圖像分為字符和背景兩部分，且背 景單一，對(duì)車牌圖像的灰度直方圖進(jìn)行分析，便可得知圖 像的直方圖具有雙峰性質(zhì)。若能將二值化的閾值選為灰度 直方圖波谷處的灰度值，就能夠得到較好的二值化圖像， 但在實(shí)際應(yīng)用中，圖像的噪聲和污點(diǎn)往往比較多，這樣就 會(huì)使得圖像直方圖雙峰之間的波谷不明顯。為了減少圖像 噪聲的影響，可利用小波變換對(duì)圖像直方圖進(jìn)行平滑。即 先對(duì)圖像進(jìn)行小波變換提取小波系數(shù)序列w,然后將w中的 高頻(低尺度)元素去除，這樣，經(jīng)過(guò)平滑后的圖像直方 圖的雙峰性質(zhì)就比較明顯。

2圖像的水平傾斜校正

2.1水平邊框和鉚釘?shù)奶蕹?

由于車牌上的鉚釘和邊框均為白色，灰度與字符相 近，因此在經(jīng)過(guò)二值化處理后的圖像中，往往保留了邊框 和鉚釘，而這些信息影響了車牌的水平校正。通過(guò)對(duì)二值 化后的圖像進(jìn)行連通域分析，再剔除明顯不是字符的連通 域，同時(shí)將噪聲和污點(diǎn)也隨即剔除。具體操作步驟如下：

將整幅車牌圖像的高度和寬度記作H和W；

對(duì)二值化處理后的圖像進(jìn)行連通域分析，并把每 個(gè)連通域的寬度w,和高度九記錄下來(lái)；

候選區(qū)域的寬度不可能太寬，因?yàn)檐嚺茀^(qū)域只有 7個(gè)字符，所以連通域的寬度一般不超過(guò)W/7,并且應(yīng)該大 于 W/10 個(gè)像素，即 W/10Ww,WW/7；

候選區(qū)域的高度應(yīng)該大于H/2,即h^H/2.

2.2最小二乘擬合直線

最小二乘法常作為曲線擬合的主要方法，經(jīng)過(guò)去邊框 和鉚釘后的車牌就只剩下字符區(qū)域，擬合時(shí)可分別提取各 個(gè)區(qū)域的左上頂點(diǎn)、右上頂點(diǎn)、左下頂點(diǎn)和右下頂點(diǎn)，再 用最小二乘擬合岀四條直線。

設(shè)直線方程為淚b+ax,,其中b代表截距，a代表斜率。 根據(jù)最小二乘法的性質(zhì)，擬合岀的直線應(yīng)該與輸入數(shù)據(jù)的 偏差平方和最小。設(shè)偏差x)-y,且』平方和達(dá)到最小， 即目標(biāo)函數(shù)Z = /才最小，這樣，通過(guò)對(duì)Z中的a和b求偏導(dǎo)i = 1可得：

理論上，擬合岀的四條直線應(yīng)該是平行的，但由于實(shí) 際操作存在誤差和噪聲影響，可能其中的某一條或者兩條 不與其他平行，此時(shí)就需刪除明顯錯(cuò)誤的值，然后對(duì)剩下 的值求取平均值a, arctan a則即為傾斜角。

3圖像的垂直傾斜校正

車牌的垂直傾斜實(shí)際上是圖像坐標(biāo)相對(duì)于x軸y方向 的錯(cuò)切，即：

設(shè)車牌字符區(qū)域在Y軸上的投影距離為八

這樣，當(dāng)Z = 0時(shí)，車牌y方向無(wú)錯(cuò)切，此時(shí)T = x, T取 得最小值。因此，如果能找到使得車牌投影距離最小的Z, 則此時(shí)對(duì)應(yīng)的車牌圖像就是垂直校正后的圖像。

通常車牌在垂直方向的傾斜很小，一般為：

為了減少計(jì)算次數(shù)，可以引入分塊查找的思想，該思 路將查找過(guò)程分為兩部分，即粗查找和精查找。具體步驟 如下：

將經(jīng)過(guò)以上處理后的車牌圖像在±20。范圍內(nèi)每隔 5°求取水平投影值m,o

比較m,選取其中最小值的m,然后繼續(xù)比較 mi-1和,再選取其中的較小值，則可確定Z在某個(gè)小區(qū) 間內(nèi)。

在上一步求取的小區(qū)間內(nèi)以步長(zhǎng)d = 1°求取水平投影值mj，并選取其中最小值mj，其所對(duì)應(yīng)的角度即為圖像垂直傾斜角z。當(dāng)校正范圍 [ ,]2020c cz ! - +，分塊查找法的算法執(zhí)行次數(shù)為14，遠(yuǎn)小于40。

4 實(shí)驗(yàn)結(jié)果分析

該算法在Intel Celeron 2.50 GHz CPU和992 MB內(nèi)存配置的Matlab 7.0.1平臺(tái)上運(yùn)行時(shí)，首先采用直方圖方法對(duì)定位后的車牌圖像進(jìn)行二值化，然后去除車牌邊框及鉚釘，再分別對(duì)車牌圖像進(jìn)行水平傾斜校正和垂直傾斜校正。圖1所示是已經(jīng)準(zhǔn)確定位且二值化后的車牌圖像，其中字符為白色，背景為黑色。

4.1 車牌水平傾斜與其它方法的比較

可將本文方法和Radon變換法、Hough變換法等傾斜校正方法進(jìn)行比較，其實(shí)際車牌測(cè)試校正結(jié)果如圖2所示，運(yùn)行時(shí)間和具體校正角度如表1和表2所列。Radon變換和Hough變換校正的角度變化步長(zhǎng)均為1c。

從圖2的實(shí)際測(cè)試結(jié)果可以看出，本算法已較準(zhǔn)確地校正了車牌的水平傾斜，字符上下邊緣線已基本水平，而Radon變換和Hough變換校正后的車牌在水平方向仍存在微小傾斜，校正精度不夠。從表1和表2所列的實(shí)際數(shù)據(jù)可以看出：本文所測(cè)校正精度明顯高于其他兩種算法，從運(yùn)行時(shí)間上看，本文算法的運(yùn)行速度也較兩者稍快，而Radon變換和Hough變換在校正效果上相同，但是運(yùn)行時(shí)間不同。

4.2 車牌的垂直傾斜校正

圖3所示為經(jīng)過(guò)水平校正后的車牌用本文算法進(jìn)行垂直校正后的結(jié)果。測(cè)試表明：該算法能夠較好地對(duì)車牌進(jìn)行垂直校正，且本文算法較改進(jìn)后的算法復(fù)雜度降低很多。

5 結(jié) 論

車牌的傾斜校正保證了后續(xù)字符分割和字符識(shí)別的精度，本文算法在水平校正時(shí)，提出了用基于最小二乘擬合直線的方法來(lái)對(duì)車牌進(jìn)行水平校正。測(cè)試結(jié)果表明，本文的方法校正效果較好，而且，在垂直校正時(shí)，由于利用了改進(jìn)的最小投影距離法，因而降低了算法的執(zhí)行次數(shù)，提高了執(zhí)行效率。

20210907_6136e35d381bf__基于最小二乘和最小投影距離的車牌傾斜校正