對卷積神經(jīng)網(wǎng)絡進行訓練

本文重點介紹卷積神經(jīng)網(wǎng)絡 (CNN) 的特性和應用，主要用于模式識別和對象分類。在之前文章中，我們展示了微控制器中經(jīng)典線性程序執(zhí)行與 CNN 的區(qū)別及其優(yōu)勢。我們討論了 CIFAR 網(wǎng)絡，利用該網(wǎng)絡可以對圖像中的貓、房屋或自行車等對象進行分類，或執(zhí)行簡單的語音模式識別。本文解釋了如何訓練這些神經(jīng)網(wǎng)絡來解決問題。

神經(jīng)網(wǎng)絡的訓練過程

本系列第一部分討論的 CIFAR 網(wǎng)絡由不同層的神經(jīng)元組成。32 像素 × 32 像素的圖像數(shù)據(jù)被呈現(xiàn)給網(wǎng)絡并經(jīng)過網(wǎng)絡層。CNN 的第一步是檢測和研究要區(qū)分的對象的獨特特征和結構。為此使用過濾矩陣。一旦設計人員對 CIFAR 等神經(jīng)網(wǎng)絡進行建模，這些過濾矩陣最初仍未確定，并且此階段的網(wǎng)絡仍無法檢測模式和對象。

為了實現(xiàn)這一點，首先需要確定矩陣的所有參數(shù)和元素，以最大限度地提高檢測對象的準確度或最小化損失函數(shù)。這個過程稱為神經(jīng)網(wǎng)絡訓練。對于本系列第一部分中描述的常見應用，網(wǎng)絡在開發(fā)和測試期間只訓練一次。之后，它們就可以使用了，參數(shù)不再需要調(diào)整。如果系統(tǒng)正在對熟悉的對象進行分類，則無需進行額外的訓練。只有當系統(tǒng)需要對全新的對象進行分類時，才需要進行訓練。

訓練網(wǎng)絡需要訓練數(shù)據(jù)，之后，我們會使用一組類似的數(shù)據(jù)來測試網(wǎng)絡的準確性。例如，在我們的 CIFAR-10 網(wǎng)絡數(shù)據(jù)集中，數(shù)據(jù)是十個對象類別中的一組圖像：飛機、汽車、鳥、貓、鹿、狗、青蛙、馬、船和卡車。但是，在訓練 CNN 之前，必須對這些圖像進行命名，這是整個 AI 應用程序開發(fā)過程中最復雜的部分。本文將討論的訓練過程遵循反向傳播原理;網(wǎng)絡會連續(xù)顯示大量圖像，并且每次都會同時傳達一個目標值。在我們的示例中，這個值是關聯(lián)的對象類別。每次顯示圖像時，都會優(yōu)化過濾矩陣，以使對象類別的目標值和實際值相匹配。完成此過程后，網(wǎng)絡還可以檢測訓練期間未在圖像中看到的物體。

過度擬合和欠擬合

在神經(jīng)網(wǎng)絡建模中，經(jīng)常會出現(xiàn)這樣的問題：神經(jīng)網(wǎng)絡應該有多復雜，即它應該有多少層，或者它的濾波矩陣應該有多大。這個問題沒有簡單的答案。與此相關，討論網(wǎng)絡過擬合和欠擬合很重要。過擬合是模型過于復雜且參數(shù)過多的結果。我們可以通過比較訓練數(shù)據(jù)損失和測試數(shù)據(jù)損失來確定預測模型與訓練數(shù)據(jù)的擬合程度是太差還是太好。如果在訓練期間損失較低，而在向網(wǎng)絡提供從未顯示過的測試數(shù)據(jù)時損失過度增加，則強烈表明網(wǎng)絡記住了訓練數(shù)據(jù)，而不是概括模式識別。這主要發(fā)生在網(wǎng)絡的參數(shù)存儲過多或卷積層過多時。在這種情況下，應該減小網(wǎng)絡大小。

損失函數(shù)和訓練算法

學習分為兩個步驟。第一步，向網(wǎng)絡顯示一張圖像，然后由神經(jīng)元網(wǎng)絡處理該圖像以生成輸出向量。輸出向量的最高值代表檢測到的對象類別，例如我們示例中的狗，這在訓練案例中不一定是正確的。此步驟稱為前饋。

輸出端產(chǎn)生的目標值與實際值之間的差異稱為損失，相關函數(shù)稱為損失函數(shù)。網(wǎng)絡的所有元素和參數(shù)都包含在損失函數(shù)中。神經(jīng)網(wǎng)絡學習過程的目標是定義這些參數(shù)，使損失函數(shù)最小化。這種最小化是通過一個過程實現(xiàn)的，在這個過程中，輸出端產(chǎn)生的偏差(損失 = 目標值減去實際值)被反向反饋到網(wǎng)絡的所有組件，直到到達網(wǎng)絡的起始層。學習過程的這一部分也稱為反向傳播。

這樣，在訓練過程中就形成了一個逐步確定濾波矩陣參數(shù)的循環(huán)，這個前饋和反向傳播的過程不斷重復，直到損失值降到預先定義的值以下。

優(yōu)化算法、梯度和梯度下降法

為了說明我們的訓練過程，圖 3 顯示了僅由兩個參數(shù) x 和 y 組成的損失函數(shù)。z 軸對應于損失。函數(shù)本身在這里不起作用，僅用于說明目的。如果我們更仔細地觀察三維函數(shù)圖，我們可以看到該函數(shù)具有全局最小值和局部最小值。

可以使用大量數(shù)值優(yōu)化算法來確定權重和偏差。最簡單的方法是梯度下降法。梯度下降法基于這樣的思想：使用梯度逐步找到從損失函數(shù)中隨機選擇的起點到全局最小值的路徑。梯度作為數(shù)學運算符描述了物理量的進展。它在損失函數(shù)的每個點處提供一個向量(也稱為梯度向量)，該向量指向函數(shù)值變化最大的方向。向量的大小與變化量相對應。梯度向量將指向右下角某點的最小值(紅色箭頭)。由于表面平坦，震級會較低。在更遠的區(qū)域，靠近峰頂?shù)那闆r會有所不同。在這里，矢量(綠色箭頭)指向下方，并且震級較大，因為地勢起伏較大。

使用梯度下降法，從任意選擇的點開始，迭代地尋找下降速度最快、通向山谷的路徑。這意味著優(yōu)化算法計算起點處的梯度，并朝下降速度最快方向邁出一小步。在這個中間點，重新計算梯度，繼續(xù)通向山谷的路徑。這樣，就創(chuàng)建了一條從起點到山谷中某一點的路徑。這里的問題是，起點不是預先定義的，而是必須隨機選擇的。在我們的二維圖中，細心的讀者會把起點放在函數(shù)圖左側的某個位置。這將確保(例如藍色)路徑的末端位于全局最小值。另外兩條路徑(黃色和橙色)要么更長，要么以局部最小值結束。由于優(yōu)化算法必須優(yōu)化的不僅僅是兩個參數(shù)，而是數(shù)十萬個參數(shù)，因此很快就會發(fā)現(xiàn)起點的選擇只能是偶然正確的。在實踐中，這種方法似乎沒有幫助。這是因為，根據(jù)所選的起點，路徑以及訓練時間可能會很長，或者目標點可能不在全局最小值，在這種情況下，網(wǎng)絡的準確性會降低。這種方法似乎沒有什么幫助。這是因為，根據(jù)所選的起點、路徑以及因此，訓練時間可能會很長，或者目標點可能不在全局最小值，在這種情況下，網(wǎng)絡的準確性會降低。這種方法似乎沒有什么幫助。這是因為，根據(jù)所選的起點、路徑以及因此，訓練時間可能會很長，或者目標點可能不在全局最小值，在這種情況下，網(wǎng)絡的準確性會降低。

因此，過去幾年中開發(fā)了許多優(yōu)化算法來繞過上述兩個問題。一些替代方案包括隨機梯度下降法、動量、AdaGrad、RMSProp 和 Adam — 僅舉幾例。實際使用的算法由網(wǎng)絡開發(fā)人員決定，因為每種算法都有特定的優(yōu)缺點。

訓練數(shù)據(jù)

如上所述，在訓練過程中，我們向網(wǎng)絡提供標有正確對象類別(如汽車、船舶等)的圖像。在我們的示例中，我們使用了現(xiàn)有的CIFAR-10 數(shù)據(jù)集。在實踐中，人工智能的應用范圍可能不僅限于識別貓、狗和汽車。例如，如果必須開發(fā)一種新應用程序來檢測制造過程中螺絲的質量，那么還必須使用來自好螺絲和壞螺絲的訓練數(shù)據(jù)來訓練網(wǎng)絡。創(chuàng)建這樣的數(shù)據(jù)集可能非常費力且耗時，并且通常是開發(fā)人工智能應用程序最昂貴的步驟。編譯數(shù)據(jù)集后，將其分為訓練數(shù)據(jù)和測試數(shù)據(jù)。訓練數(shù)據(jù)用于如前所述進行訓練。測試數(shù)據(jù)用于在開發(fā)過程結束時檢查訓練網(wǎng)絡的功能。

結論

現(xiàn)在我們已經(jīng)定義了該函數(shù)所需的所有權重和偏差，我們可以假設網(wǎng)絡可以正常工作。在本系列的最后一篇文章中，我們將通過將神經(jīng)網(wǎng)絡轉換為硬件來測試它是否能識別貓。