貴州大學(xué)：具有正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機器人觸覺物體識別方法 | 《電子與信息學(xué)報》佳文速遞

中圖分類 TP183：人工神經(jīng)網(wǎng)絡(luò)與計算

貴州大學(xué)李少波等人在《電子與信息學(xué)報》發(fā)表最新論文：

具有正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機器人觸覺物體識別方法 >>

文章提出了一種基于觸覺的機器人物體識別方法，針對脈沖神經(jīng)網(wǎng)絡(luò)中神經(jīng)元脈沖活動離散性導(dǎo)致網(wǎng)絡(luò)訓(xùn)練過程反向傳播失效問題，引入脈沖活動近似函數(shù)；

針對過擬合問題，融合正則化方法加以緩解。實驗分析表明了正則化模型的觸覺物體識別率有顯著提升。

總體而言，該文工作具有較好的創(chuàng)新性和學(xué)術(shù)價值。

背 景

物體感知是智能機器人的基本技能，是執(zhí)行任務(wù)的基礎(chǔ)。隨著機器人智能化的快速發(fā)展，機器人具備了語言識別與理解、計算機視覺等功能。

此外，時下大部分機器人沒有觸覺感知能力，更沒有像人類一樣使用觸覺去感知不同物體的能力，而觸覺傳感器能夠提供溫度、粗糙度、壓力等視覺與聽覺無法提供的信息，能夠輔助智能機器人適應(yīng)更多工作場景。

因此研究機器人觸覺感知方法對促進智能機器人擁有與人類相似的觸覺感知能力具有重要意義。

圖1 機器人觸覺系統(tǒng)

脈沖神經(jīng)網(wǎng)絡(luò)（Spiking Neural Network，SNN）受人類神經(jīng)元工作方式啟發(fā)，通過時空動力學(xué)模仿人類神經(jīng)行為，并使用二進制脈沖信號在神經(jīng)元之間進行通信，在生物學(xué)設(shè)計上也更加合理。并且脈沖神經(jīng)網(wǎng)絡(luò)能夠應(yīng)用于神經(jīng)擬態(tài)芯片上，能夠更快地處理AI任務(wù)，帶來更高的能效。

然而，相較于傳統(tǒng)卷積神經(jīng)網(wǎng)絡(luò)，SNN的神經(jīng)元之間由于通過離散的二進制信號0或1傳遞信息，這導(dǎo)致了在采用反向傳播完成參數(shù)更新時，梯度下降法的失效。

此外，模型訓(xùn)練需要大量的數(shù)據(jù)樣本支撐，以得到更優(yōu)的網(wǎng)絡(luò)參數(shù)。而現(xiàn)有機器人觸覺脈沖數(shù)據(jù)樣本較少，如何緩解數(shù)據(jù)量較少導(dǎo)致的過擬合問題得到更優(yōu)的網(wǎng)絡(luò)性能，也是挑戰(zhàn)之一。

為應(yīng)對以上挑戰(zhàn)，貴州大學(xué)李少波、楊靜、吉曉陽等人及其合作團隊提出了一種具有正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機器人觸覺物體識別方法：

首先，作者分析了SNN神經(jīng)元與脈沖活動之間的關(guān)系，并通過脈沖活動的近似函數(shù)緩解梯度下降法在反向傳播中的失效問題。

進一步地，提出了一種具有正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機器人觸覺物體識別方法，緩解模型的過擬合問題，提升SNN網(wǎng)絡(luò)模型的魯棒性。

實驗結(jié)果顯示，該文方法提出的SnnTd正則化方法觸覺物體識別率在EvTouch-Containers數(shù)據(jù)集上比最好方法TactileSGNet提升了5.00%，SnnTdlc正則化方法觸覺物體識別率在EvTouch-Objects數(shù)據(jù)集上則提升了3.16%。

研究方法

(1) SNN的反向傳播

根據(jù)SNN的預(yù)測結(jié)果，計算網(wǎng)絡(luò)輸出與標簽之間誤差平方和的均值，即網(wǎng)絡(luò)模型損失函數(shù)L在時間窗口T內(nèi)平均投票結(jié)果的均方誤差

其中S為觸覺數(shù)據(jù)訓(xùn)練樣本的總量，是第s個觸覺數(shù)據(jù)樣本的標簽，是輸出層的結(jié)果。對于標簽為的訓(xùn)練樣本，觸覺模型理想情況是代表第類的神經(jīng)元具有最高的輸出值。

圖2 脈沖神經(jīng)網(wǎng)絡(luò)的空域和時域傳播過程

從圖2可以看出，神經(jīng)元前向傳播中，第n層神經(jīng)元膜電位由空域中第n-1層神經(jīng)元的輸出脈沖，以及時域中第n層神經(jīng)元t-1時刻的神經(jīng)元膜電位共同決定。

而在反向傳播過程中，第n層神經(jīng)元膜電位在空域上影響第n-1層神經(jīng)元的輸出脈沖，在時域上影響第n層神經(jīng)元t-1時刻的神經(jīng)元膜電位。

綜上，通過復(fù)合函數(shù)的鏈式法則得到損失函數(shù)L與權(quán)重w、偏置b之間的關(guān)系：

其中，表示t時刻第n層脈沖神經(jīng)元的膜電位，表示t時刻第n層是否產(chǎn)生脈沖，若產(chǎn)生脈沖，，否則。

采用連續(xù)函數(shù)模擬脈沖活動的反向傳播，使得梯度下降法有效，即

(2) 正則化約束

Dropout正則化方法通過隨機丟棄神經(jīng)網(wǎng)絡(luò)中網(wǎng)絡(luò)層上的神經(jīng)元，構(gòu)建不同的訓(xùn)練子網(wǎng)絡(luò)，使每次訓(xùn)練時采用的網(wǎng)絡(luò)不相同，這類似于在模型中加入高斯噪聲，間接使得模型接收到不同的輸入數(shù)據(jù)，緩解數(shù)據(jù)量少的問題，進而使模型的過擬合問題得到緩解。將Dropout方法引入脈沖神經(jīng)網(wǎng)絡(luò)，通過隨機丟棄LIF神經(jīng)元，提升神經(jīng)網(wǎng)絡(luò)的預(yù)測能力。圖3展示了LIF神經(jīng)元的Dropout工作方式。

圖3 LIF神經(jīng)元中的Dropout

L2權(quán)重衰減是通過限制權(quán)重的選擇范圍控制模型參數(shù)容量，在一定程度上緩解模型的過擬合問題，通過結(jié)合Adam優(yōu)化算法以及余弦退火算法，作者提出具有L2正則化約束的脈沖神經(jīng)網(wǎng)絡(luò)機器人觸覺物體識別算法。

實驗分析

該文考慮了2個不同的觸覺脈沖數(shù)據(jù)集，并在每個數(shù)據(jù)集上進行了80次實驗，每組實驗重復(fù)10次。