FPGA 上使用 SVM 進行圖像處理
掃描二維碼
隨時隨地手機看文章
SVM簡介
面部識別是一個經(jīng)常討論的計算機科學話題，并且由于計算機處理能力的指數(shù)級增長而成為人們高度關注的話題。面部識別在機器人、生物安全和汽車工業(yè)等許多領域都有廣泛的應用，涉及對輸入圖像應用數(shù)學算法，提取不同的特征，表明所提供的圖片中是否存在人臉。方向梯度直方圖（HOG）是一種傳統(tǒng)算法，用于提取圖像特征，例如像素方向，并且可以與線性支持向量機（SVM）一起使用來將輸入圖像識別為人臉或不是人臉。
我們將使用下面圖像作為參考和測試：
圖像處理
卷積
兩個函數(shù)的卷積是一種重要的數(shù)學運算，在信號處理中廣泛應用。在計算機圖形和圖像處理領域，我們通常使用離散函數(shù)（例如圖像）并應用離散形式的卷積來消除高頻噪聲、銳化細節(jié)或檢測邊緣。
卷積是對兩個信號 f 和 g 的數(shù)學運算，定義為：
在圖像領域，我們可以將卷積想象為單個像素與其相鄰像素之間的關系。這種關系主要應用搜索顏色變化、亮度差異和像素周期性等獨特特征檢測。
下圖說明了使用小型 3 x 3 內(nèi)核的卷積濾波器。濾波器被定義為一個矩陣，其中中心項對中心像素進行加權，其他項定義相鄰像素的權重。我們也可以說 3×3 核的半徑為 1，因為在卷積過程中只考慮“一環(huán)”鄰域。在圖像邊界要定義卷積的行為，其中內(nèi)核映射到圖像外部未定義的值。
使用 3 x 3 窗口和 3 x 3 內(nèi)核的卷積運算可以定義如下：
static int convolve(unsigned int window[3][3], int kernel[3][3])
{
int result = 0; for (int i = 0; i < 3; i++) { for (int j = 0; j < 3; j++) { result+= window[i][j] * kernel[i][j]; } } return result;
}
為了對整個圖像進行卷積運算，可以應用滑動窗口技術。從第一個像素開始，每 8 個臨近像素被分組為一個方形窗口，窗口內(nèi)的輸入像素與內(nèi)核進行卷積，產(chǎn)生一個像素值放置在輸出圖像中。重復此步驟直到圖像結束。
Sobel-索貝爾
邊緣檢測是檢測灰度圖像中不連續(xù)性的最常見方法。邊緣被定義為位于兩個區(qū)域之間的特定邊界上的一組連接的像素。
如果輸入圖像是彩色圖像，則在應用卷積運算之前，將其轉換為灰度圖像。
假設每個像素都使用 32 位無符號整數(shù)表示，則 RGB 轉換為灰度的代碼如下所示：
#define R(pixel) (((pixel) >> 16) & 0xFF) #define G(pixel) (((pixel) >> 8) & 0xFF) #define B(pixel) (((pixel) ) & 0xFF) float rgb2gray(unsigned int pixel) { return (R(pixel) * 0.2989 + G(pixel) * 0.5870 + B(pixel) * 0.1440); }
運行后，測試圖像將如下所示：
Sobel 算子是邊緣檢測中最常用的算子之一。Sobel 算子使用兩個 3×3 內(nèi)核與原始圖像進行卷積來計算導數(shù)的近似值 - 一個用于水平變化，另一個用于垂直變化。如果我們將 A 定義為源圖像，G x和 G y是兩個圖像，每個點分別包含水平和垂直導數(shù)近似值，則計算如下：
通過前面的卷積函數(shù)，我們可以使用以下代碼計算輸出圖像：
int dx = convolve(window, kernel_x); int dy = convolve(window, kernel_y);
其中窗口定義為 3 x 3 滑動窗口，內(nèi)核是 Sobel 算子使用的內(nèi)核：
static int kernel_x[3][3] = {
{ 1, 2, 1},
{ 0, 0, 0},
{-1, -2, -1}
};
static int kernel_y[3][3] = {
{ 1, 0, -1},
{ 2, 0, -2},
{ 1, 0, -1}
};
卷積計算后得到的圖像如下：
正如所看到的，垂直和水平細節(jié)得到增強并且更易于觀察。盡管它有幫助，但我們需要一個更獨特的特征圖像，僅代表邊緣。
下一步將組合這兩個圖像并獲得雙向變化圖。我們可以通過計算每個像素值的大小或強度以及當前像素與邊緣線中的另一個像素鏈接的方向或角度來做到這一點。
在圖像中的每個點，可以使用以下方法組合所得的近似值來給出幅度：
以及使用的角度：
squareroot 和 atan2 函數(shù)都已在 HLS 命名空間中實現(xiàn)：
unsigned int magnitude = hls::sqrt(dx*dx + dy*dy); int angle = hls::atan2(dx,dy);
結果是：
幅度
角度
我們已經(jīng)得到邊緣更加集中的圖像。盡管如此，在多種形式的領域，邊緣會變得更寬。我們需要使用一種稱為非極大值抑制的技術來抑制這些錯誤邊緣：
unsigned int nms(unsigned int mag[3][3], int ang) {
unsigned int q,r;
q = r = 255; if ((0 <= ang < 23) || (158 < ang <= 180)) { q = mag[1][2]; r = mag[1][0]; } else if (223 <= ang < 68) { q = mag[2][0]; r = mag[0][2]; } else if ( 68 <= ang < 113) { q = mag[0][1]; r = mag[2][1]; } else if ( 113 <= ang < 158) { q = mag[0][0]; r = mag[2][2]; } if (mag[1][1] >= q && mag[1][1] >= r) return mag[1][1]; return 0;
}
現(xiàn)在邊緣更薄、更簡潔。
實施
如前所述，輸入圖像以數(shù)據(jù)流的形式逐像素輸入。為了應用卷積運算，我們需要將數(shù)據(jù)打包在 3 x 3 窗口下?？梢允褂镁哂袃蓚€緩沖區(qū)的架構來實現(xiàn)這一點，其中元素數(shù)量等于寬度，如果我們的輸入圖像：
這里將有兩個輔助函數(shù)用于移動行緩沖區(qū)和滑動窗口：
static void shift_w(unsigned int window[3][3], unsigned int v1, unsigned int v2,
unsigned int v3)
{
window[0][0] = window[0][1];
window[0][1] = window[0][2];
window[0][2] = v1;
window[1][0] = window[1][1];
window[1][1] = window[1][2];
window[1][2] = v2;
window[2][0] = window[2][1];
window[2][1] = window[2][2];
window[2][2] = v3;
}
static void shift_b(unsigned int line_buffer[2][1280], int pos,
unsigned int val)
{
line_buffer[0][pos] = line_buffer[1][pos];
line_buffer[1][pos] = val;
}
最后，我們可以將整個過程打包成一個 HLS 函數(shù)（代碼見附件）。
得到了代碼后，還應該對其進行測試。GIMP （https://www.oschina.net/p/gimp?hmsr=aladdin1e1）有一個非?？岬墓δ?，可以直接將圖像導出為頭文件。假設我們將測試圖像導出到文件 image.h 下，就可以利用如下代碼實現(xiàn)我們要測試的功能（代碼見文末）。
驗證 HLS IP 的另一種方法是直接在 FPGA 上進行驗證。
第一步是創(chuàng)建block design并將合成的 Sobel IP 添加到存儲庫：
添加已實現(xiàn)的 IP，其中一個 DMA 向其提供數(shù)據(jù)，另一個讀取輸出：
生成比特流后就可以驗證功能。
生成的圖像應與模擬圖像相似。
現(xiàn)在我們需要實現(xiàn)一個直接從相機輸入的架構。
第一個組件是 Znyq 處理系統(tǒng)和用于配置相機接口的 i2c 控制器：
在圖像流方面，需要一個 MIPI 控制器和一個 Demosaic IP 將流轉換為 RGB24：
最后添加我們的圖像處理IP和VDMA：
SVM-支持向量機
在機器學習中，支持向量機（SVM，也稱為支持向量網(wǎng)絡）是具有相關學習算法的監(jiān)督學習模型，用于分析用于分類和回歸分析的數(shù)據(jù)。給定一組訓練樣本，每個樣本都標記為屬于兩個類別中的一個或另一個，SVM 訓練算法會構建一個模型，將新樣本分配給一個類別或另一個類別，使其成為非概率二元線性分類器（盡管方法例如 Platt 縮放可以在概率分類設置中使用 SVM）。SVM 模型將示例表示為空間中的點，進行映射，以便將不同類別的示例劃分為盡可能寬的清晰間隙。然后，新的示例被映射到同一空間，并根據(jù)它們所在的間隙一側預測屬于某個類別。
下載文檔
