神經(jīng)網(wǎng)絡(luò)預(yù)測編碼器的設(shè)計(jì)及應(yīng)用

1 BP網(wǎng)絡(luò)結(jié)構(gòu)及其算法
    反向傳播算法又稱誤差后向傳播算法(Error Back Propagation Algorithm)，它是用來訓(xùn)練多層前饋網(wǎng)絡(luò)的一種學(xué)習(xí)算法。是一種有監(jiān)督的學(xué)習(xí)算法。通常稱用誤差反向傳播算法訓(xùn)練的網(wǎng)絡(luò)叫BP網(wǎng)絡(luò)。如圖1所示，該BP網(wǎng)絡(luò)具有一個(gè)輸入層，兩個(gè)隱含層(也稱中間層)和一個(gè)輸出層組成，各層之間實(shí)行全連接。BP神經(jīng)網(wǎng)絡(luò)的隱含層通常具有多個(gè)，其傳輸函數(shù)常常采用sigmoid函數(shù)，而輸入輸出層則采用線性傳輸函數(shù)。

誤差反向傳播算法的主要思想是把學(xué)習(xí)過程分為兩個(gè)階段：第一階段(正向傳播過程)，給出輸入信息通過輸入層經(jīng)隱含層逐層處理并計(jì)算每個(gè)單元的實(shí)際輸出值；第二階段(反向傳播過程)，若在輸出層未能得到期望的輸出值，則逐層遞歸地計(jì)算實(shí)際輸出與期望輸出之差值(即誤差)，以便根據(jù)此誤差調(diào)節(jié)權(quán)值。誤差反向傳播算法的性能函數(shù)是均方誤差。其算法流程如圖2所示。

2 神經(jīng)網(wǎng)絡(luò)預(yù)測編碼器的設(shè)計(jì)及應(yīng)用
2．1 預(yù)測器層數(shù)
    kolmogorov定理(即映射網(wǎng)絡(luò)存在定理)，一個(gè)隱含層的網(wǎng)絡(luò)，如果隱含層的功能函數(shù)是連續(xù)函數(shù)，則網(wǎng)絡(luò)輸出可以逼近一個(gè)連續(xù)函數(shù)。具體的說，設(shè)網(wǎng)絡(luò)有p個(gè)輸入，q個(gè)輸出，則其作用可以看作是由p維歐式空間到q維歐式空間的一個(gè)非線性映射。
    Kolmogorov定理表明含一個(gè)隱含層的BP前饋網(wǎng)絡(luò)是一種通用的函數(shù)逼近器，為逼近一個(gè)連續(xù)函數(shù)，一個(gè)隱含層是足夠的。當(dāng)要學(xué)習(xí)不連續(xù)函數(shù)時(shí)，則需要兩個(gè)隱含層，即隱含層數(shù)最多兩層即可，Lippmann等也給出了同樣的結(jié)論。通過參考以上定理、規(guī)則，并結(jié)合試驗(yàn)最終確定本文實(shí)現(xiàn)的神經(jīng)網(wǎng)絡(luò)預(yù)測器采用兩個(gè)隱含層，一個(gè)輸入層和一個(gè)輸出層的BP網(wǎng)絡(luò)。
2．2 節(jié)點(diǎn)數(shù)
    網(wǎng)絡(luò)的輸入與輸出節(jié)點(diǎn)數(shù)是由實(shí)際問題的本質(zhì)決定的，與網(wǎng)絡(luò)性能無關(guān)。而當(dāng)像素間距離超過5時(shí)，像素之間的相關(guān)性就很小，并且在圖像的某一個(gè)區(qū)域內(nèi)，色度信息不會(huì)突變，因此，本文設(shè)計(jì)的BP神經(jīng)網(wǎng)絡(luò)預(yù)測器利用與當(dāng)前像素相鄰的9個(gè)像素來預(yù)測當(dāng)前像素，這樣不僅可以利用同一色分量內(nèi)像素之間的相關(guān)性，也可以利用不同色通道之間像素的相關(guān)性進(jìn)行預(yù)測。鄰域像素的選擇如圖3所示。

對Bayer圖像當(dāng)前像素的預(yù)測可用下面兩式表示：

其中：(k，l)∈{(一3，O)，(一2，一1)，(一2，O)，(一1，一2)，(一l，一1)，(一1，O)，(O，一3)，(O，一2)，(O，一1)}，x(i，j)為當(dāng)前像素的真實(shí)值；互(i，j)是當(dāng)前像素的預(yù)測值，e(i，j)是預(yù)測誤差。預(yù)測函數(shù)f用神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)。因此，輸入層有9個(gè)神經(jīng)元。而網(wǎng)絡(luò)的輸出即是神經(jīng)網(wǎng)絡(luò)預(yù)測器對當(dāng)前像素的預(yù)測值，因此輸出層有1個(gè)神經(jīng)元。
    實(shí)際上，隱含層神經(jīng)元數(shù)取決于訓(xùn)練樣本數(shù)的多少、噪聲量的大小及網(wǎng)絡(luò)學(xué)習(xí)的輸入一輸出函數(shù)關(guān)系或分類關(guān)系的復(fù)雜程度。對許多應(yīng)用場合均適用的一條有關(guān)確定隱結(jié)點(diǎn)數(shù)的規(guī)則即所謂的幾何金字塔規(guī)則(geometric pyramidrule)：從輸入層到輸出層，結(jié)點(diǎn)數(shù)不斷減少，其形好似金字塔，如圖4所示。

 本文通過大量實(shí)驗(yàn)，最終確定神經(jīng)網(wǎng)絡(luò)預(yù)測器的第一隱含層具有9個(gè)神經(jīng)元，第二隱含層具有6個(gè)神經(jīng)元。至此，神經(jīng)網(wǎng)絡(luò)預(yù)測器結(jié)構(gòu)已經(jīng)確定，如圖5所示。

2．3 傳輸函數(shù)
    在神經(jīng)網(wǎng)絡(luò)圖像處理中，常使用的傳輸函數(shù)有兩大類：
    (1)線性傳輸函數(shù)；
    (2)非線性傳輸函數(shù)。
    線性傳輸函數(shù)的變換較簡單，其輸出相對于輸入呈線性增長，因而函數(shù)輸入范圍較小，且它不具有可微分性，這對于具有非線性特性的圖像信息來說并不適用。經(jīng)典的BP算法采用sigmoid函數(shù)，其輸出的動(dòng)態(tài)范圍為[O，1]，sigmoid和其導(dǎo)數(shù)為式1和式2：

Tawel等提出了一種動(dòng)態(tài)調(diào)整溫度系數(shù)的方法，即在sigmoid函數(shù)中加入閾值和溫度系數(shù)，如式3所示：

 式中θ稱為闞值，λ稱為溫度系數(shù)。
2．4 權(quán)值和閾值的初始化
    權(quán)值和偏置值的初始化一般有如下幾種方法：
    (1)隨機(jī)初始化。
    (2)逐步搜索法。
    (3)根據(jù)Nguyen-Widrow初始化算法為層產(chǎn)生初始權(quán)重和偏置值，使得每層神經(jīng)元的活動(dòng)區(qū)域能大致平坦的分布在輸入空間。
2．5 輸入樣本
    采集數(shù)據(jù)樣本時(shí)主要考慮兩方面：
    (1)數(shù)據(jù)樣本要充分。
    (2)減小數(shù)據(jù)樣本的冗余度。
    本文設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)預(yù)測器時(shí)，采用的訓(xùn)練圖像都是和測試圖像類似的自認(rèn)圖像，包括人物，建筑物，風(fēng)景，動(dòng)植物等24bits的全彩色圖像，這些全彩圖像采用CFA圖像。然后將每幅CFA訓(xùn)練圖像轉(zhuǎn)化成的歸一化的輸入訓(xùn)練的80％作為訓(xùn)練樣本，其余的20％作為驗(yàn)證樣本。
2．6 歸一化
    即通過簡單的線性變換，將網(wǎng)絡(luò)的輸入和輸出數(shù)據(jù)化為[O，1]區(qū)間或[一1，1]區(qū)間的數(shù)。
    通過大量試驗(yàn)并結(jié)合所采用的傳輸函數(shù)的特性發(fā)現(xiàn)將輸入輸出限制在[O．2，O．9]網(wǎng)絡(luò)可以取得較好的預(yù)測效果，歸一化方法如式4所示：

式中，x即原始輸入，x′是歸一化后的輸入。
    網(wǎng)絡(luò)得到預(yù)測值時(shí)，按式5即可將預(yù)測結(jié)果映射到[O，255]之間：

 式中，net是神經(jīng)網(wǎng)絡(luò)預(yù)測器的輸出，y是映射后的輸出。

3 實(shí)驗(yàn)結(jié)果分析
    訓(xùn)練好的多層前饋網(wǎng)絡(luò)，具有預(yù)測評價(jià)功能?？蓪⒍鄬忧皞骶W(wǎng)絡(luò)看作一“黑箱”，將由實(shí)測獲得的輸入和輸出數(shù)據(jù)作為樣本送入“黑箱”中讓其學(xué)習(xí)，各輸入變量對輸出變量的影響在對樣本的學(xué)習(xí)過程中由“黑箱”自動(dòng)記錄下來。由于節(jié)點(diǎn)神經(jīng)元傳遞函數(shù)是非線性的，因此，“黑箱”也具有非線性。整個(gè)學(xué)習(xí)過程就是預(yù)測模型的建立過程，只要節(jié)點(diǎn)數(shù)和訓(xùn)練樣本數(shù)足夠多，“黑箱”便能實(shí)現(xiàn)對任意輸入的輸出預(yù)測。

 由表1可以看出由于神經(jīng)網(wǎng)絡(luò)預(yù)測器可以利用不同色分量的像素間的相關(guān)性和高階特性，以及神經(jīng)網(wǎng)絡(luò)本身的非線性，它得到的誤差圖像的熵的平均值最低，為5．2408，證實(shí)了神經(jīng)網(wǎng)絡(luò)預(yù)測器相對于結(jié)構(gòu)分離法和插值法的有效性，同時(shí)其結(jié)構(gòu)簡單，易于硬件實(shí)現(xiàn)。