基于硅憶阻突觸的深度置信神經(jīng)網(wǎng)絡(luò)

人工智能是研究使計(jì)算機(jī)來(lái)模擬人的某些思維過(guò)程和智能行為(如學(xué)習(xí)、推理、思考、規(guī)劃等)的學(xué)科，主要包括計(jì)算機(jī)實(shí)現(xiàn)智能的原理、制造類似于人腦智能的計(jì)算機(jī)，使計(jì)算機(jī)能實(shí)現(xiàn)更高層次的應(yīng)用。人工智能將涉及到計(jì)算機(jī)科學(xué)、心理學(xué)、哲學(xué)和語(yǔ)言學(xué)等學(xué)科?？梢哉f(shuō)幾乎是自然科學(xué)和社會(huì)科學(xué)的所有學(xué)科，其范圍已遠(yuǎn)遠(yuǎn)超出了計(jì)算機(jī)科學(xué)的范疇，人工智能與思維科學(xué)的關(guān)系是實(shí)踐和理論的關(guān)系，人工智能是處于思維科學(xué)的技術(shù)應(yīng)用層次，是它的一個(gè)應(yīng)用分支。從思維觀點(diǎn)看，人工智能不僅限于邏輯思維，要考慮形象思維、靈感思維才能促進(jìn)人工智能的突破性的發(fā)展，數(shù)學(xué)常被認(rèn)為是多種學(xué)科的基礎(chǔ)科學(xué)，數(shù)學(xué)也進(jìn)入語(yǔ)言、思維領(lǐng)域，人工智能學(xué)科也必須借用數(shù)學(xué)工具，數(shù)學(xué)不僅在標(biāo)準(zhǔn)邏輯、模糊數(shù)學(xué)等范圍發(fā)揮作用，數(shù)學(xué)進(jìn)入人工智能學(xué)科，它們將互相促進(jìn)而更快地發(fā)展。

雖然人工智能 (AI) 模型變得越來(lái)越先進(jìn)，但在傳統(tǒng)計(jì)算機(jī)硬件上訓(xùn)練和運(yùn)行這些模型非常耗能。因此，世界各地的工程師一直在嘗試創(chuàng)建替代的、受大腦啟發(fā)的硬件，以更好地支持人工智能系統(tǒng)的高計(jì)算負(fù)載。

Technion-Israel Institute of Technology 和 Peng Cheng Laboratory 的研究人員最近創(chuàng)建了一個(gè)新的神經(jīng)形態(tài)計(jì)算系統(tǒng)，支持深度信念神經(jīng)網(wǎng)絡(luò)(DBN)，深度學(xué)習(xí)模型的生成和圖形類。Nature Electronics中概述的該系統(tǒng)基于硅基憶阻器，這是一種既能存儲(chǔ)又能處理信息的節(jié)能設(shè)備。

憶阻器是一種電子元件，可以切換或調(diào)節(jié)電路中的電流，同時(shí)還能記住通過(guò)它的電荷。由于它們的功能和結(jié)構(gòu)比傳統(tǒng)的記憶和處理單元更類似于人腦中的突觸，因此它們可能更適合運(yùn)行 AI 模型。

“作為一個(gè)大型科學(xué)界的一部分，我們已經(jīng)研究神經(jīng)形態(tài)計(jì)算已有一段時(shí)間了，”進(jìn)行這項(xiàng)研究的研究人員之一 Shahar Kvatinsky 告訴 TechXplore?！巴ǔ?，憶阻器用于執(zhí)行模擬計(jì)算。眾所周知，神經(jīng)形態(tài)領(lǐng)域存在兩個(gè)主要限制——一是憶阻技術(shù)仍未廣泛應(yīng)用。二是轉(zhuǎn)換所需的轉(zhuǎn)換器成本高模擬計(jì)算到數(shù)字?jǐn)?shù)據(jù)，反之亦然?！?

在開發(fā)他們的神經(jīng)形態(tài)計(jì)算系統(tǒng)時(shí)，Kvatinsky 和他的同事著手克服基于憶阻器的系統(tǒng)的這兩個(gè)關(guān)鍵限制。由于憶阻器并未廣泛使用，他們決定改用 Tower Semiconductor 開發(fā)的商用閃存技術(shù)，將其設(shè)計(jì)為像憶阻器一樣工作。此外，他們專門用新設(shè)計(jì)的 DBN 測(cè)試了他們的系統(tǒng)，因?yàn)檫@種特殊模型不需要數(shù)據(jù)轉(zhuǎn)換(即，它的輸入和輸出數(shù)據(jù)是二進(jìn)制的，并且本質(zhì)上是數(shù)字的。

“DBN 是一個(gè)古老的機(jī)器學(xué)習(xí)理論概念，”Kvatinsky 解釋說(shuō)?！拔覀兊南敕ㄊ鞘褂枚M(jìn)制(即值為 0 或 1)神經(jīng)元(輸入/輸出)。有幾個(gè)獨(dú)特的屬性(與深度神經(jīng)網(wǎng)絡(luò)相比)，包括這種網(wǎng)絡(luò)的訓(xùn)練依賴于計(jì)算累積的期望模型更新并僅在達(dá)到特定閾值時(shí)更新它?！?

研究人員創(chuàng)建的人工突觸是使用商業(yè)互補(bǔ)金屬氧化物半導(dǎo)體 (CMOS) 工藝制造的。這些基于硅的憶阻突觸具有許多優(yōu)勢(shì)特性，包括模擬可調(diào)性、高耐久性、長(zhǎng)保留時(shí)間、可預(yù)測(cè)的循環(huán)退化以及跨不同設(shè)備的適度可變性。

Kvatinsky 和他的同事通過(guò)在模式識(shí)別任務(wù)中訓(xùn)練一種稱為受限玻爾茲曼機(jī)的 DBN 來(lái)展示他們的系統(tǒng)。為了訓(xùn)練這個(gè)模型(19x 8 憶阻器受限玻爾茲曼機(jī))，他們使用了兩個(gè) 12 x 8 陣列的憶阻器。

“DBN 的簡(jiǎn)單性使它們對(duì)硬件實(shí)施具有吸引力，”Kvatinsky 說(shuō)?！拔覀儽砻?，即使 DBN 易于實(shí)現(xiàn)(由于它們的二進(jìn)制性質(zhì))，但在使用基于 Y-Flash 的憶阻器時(shí)，我們可以達(dá)到高精度(>97% 的手寫數(shù)字準(zhǔn)確識(shí)別)。”

該研究團(tuán)隊(duì)引入的架構(gòu)為運(yùn)行受限玻爾茲曼機(jī)和其他 DBN 提供了一種新的可行解決方案。未來(lái)，它可能會(huì)激發(fā)類似神經(jīng)形態(tài)系統(tǒng)的開發(fā)，共同幫助更高效地運(yùn)行人工智能系統(tǒng)。

“我們現(xiàn)在計(jì)劃擴(kuò)大這種架構(gòu)，探索更多的憶阻技術(shù)并探索更多的神經(jīng)網(wǎng)絡(luò)架構(gòu)。”