基于硅憶阻突觸的深度置信神經(jīng)網(wǎng)絡(luò)

人工智能是研究使計算機來模擬人的某些思維過程和智能行為(如學習、推理、思考、規(guī)劃等)的學科，主要包括計算機實現(xiàn)智能的原理、制造類似于人腦智能的計算機，使計算機能實現(xiàn)更高層次的應(yīng)用。人工智能將涉及到計算機科學、心理學、哲學和語言學等學科?？梢哉f幾乎是自然科學和社會科學的所有學科，其范圍已遠遠超出了計算機科學的范疇，人工智能與思維科學的關(guān)系是實踐和理論的關(guān)系，人工智能是處于思維科學的技術(shù)應(yīng)用層次，是它的一個應(yīng)用分支。從思維觀點看，人工智能不僅限于邏輯思維，要考慮形象思維、靈感思維才能促進人工智能的突破性的發(fā)展，數(shù)學常被認為是多種學科的基礎(chǔ)科學，數(shù)學也進入語言、思維領(lǐng)域，人工智能學科也必須借用數(shù)學工具，數(shù)學不僅在標準邏輯、模糊數(shù)學等范圍發(fā)揮作用，數(shù)學進入人工智能學科，它們將互相促進而更快地發(fā)展。

雖然人工智能 (AI) 模型變得越來越先進，但在傳統(tǒng)計算機硬件上訓練和運行這些模型非常耗能。因此，世界各地的工程師一直在嘗試創(chuàng)建替代的、受大腦啟發(fā)的硬件，以更好地支持人工智能系統(tǒng)的高計算負載。

Technion-Israel Institute of Technology 和 Peng Cheng Laboratory 的研究人員最近創(chuàng)建了一個新的神經(jīng)形態(tài)計算系統(tǒng)，支持深度信念神經(jīng)網(wǎng)絡(luò)(DBN)，深度學習模型的生成和圖形類。Nature Electronics中概述的該系統(tǒng)基于硅基憶阻器，這是一種既能存儲又能處理信息的節(jié)能設(shè)備。

憶阻器是一種電子元件，可以切換或調(diào)節(jié)電路中的電流，同時還能記住通過它的電荷。由于它們的功能和結(jié)構(gòu)比傳統(tǒng)的記憶和處理單元更類似于人腦中的突觸，因此它們可能更適合運行 AI 模型。

“作為一個大型科學界的一部分，我們已經(jīng)研究神經(jīng)形態(tài)計算已有一段時間了，”進行這項研究的研究人員之一 Shahar Kvatinsky 告訴 TechXplore?！巴ǔ?，憶阻器用于執(zhí)行模擬計算。眾所周知，神經(jīng)形態(tài)領(lǐng)域存在兩個主要限制——一是憶阻技術(shù)仍未廣泛應(yīng)用。二是轉(zhuǎn)換所需的轉(zhuǎn)換器成本高模擬計算到數(shù)字數(shù)據(jù)，反之亦然?！?

在開發(fā)他們的神經(jīng)形態(tài)計算系統(tǒng)時，Kvatinsky 和他的同事著手克服基于憶阻器的系統(tǒng)的這兩個關(guān)鍵限制。由于憶阻器并未廣泛使用，他們決定改用 Tower Semiconductor 開發(fā)的商用閃存技術(shù)，將其設(shè)計為像憶阻器一樣工作。此外，他們專門用新設(shè)計的 DBN 測試了他們的系統(tǒng)，因為這種特殊模型不需要數(shù)據(jù)轉(zhuǎn)換(即，它的輸入和輸出數(shù)據(jù)是二進制的，并且本質(zhì)上是數(shù)字的。

“DBN 是一個古老的機器學習理論概念，”Kvatinsky 解釋說?！拔覀兊南敕ㄊ鞘褂枚M制(即值為 0 或 1)神經(jīng)元(輸入/輸出)。有幾個獨特的屬性(與深度神經(jīng)網(wǎng)絡(luò)相比)，包括這種網(wǎng)絡(luò)的訓練依賴于計算累積的期望模型更新并僅在達到特定閾值時更新它。”

研究人員創(chuàng)建的人工突觸是使用商業(yè)互補金屬氧化物半導體 (CMOS) 工藝制造的。這些基于硅的憶阻突觸具有許多優(yōu)勢特性，包括模擬可調(diào)性、高耐久性、長保留時間、可預測的循環(huán)退化以及跨不同設(shè)備的適度可變性。

Kvatinsky 和他的同事通過在模式識別任務(wù)中訓練一種稱為受限玻爾茲曼機的 DBN 來展示他們的系統(tǒng)。為了訓練這個模型(19x 8 憶阻器受限玻爾茲曼機)，他們使用了兩個 12 x 8 陣列的憶阻器。

“DBN 的簡單性使它們對硬件實施具有吸引力，”Kvatinsky 說?！拔覀儽砻鳎词?DBN 易于實現(xiàn)(由于它們的二進制性質(zhì))，但在使用基于 Y-Flash 的憶阻器時，我們可以達到高精度(>97% 的手寫數(shù)字準確識別)?！?

該研究團隊引入的架構(gòu)為運行受限玻爾茲曼機和其他 DBN 提供了一種新的可行解決方案。未來，它可能會激發(fā)類似神經(jīng)形態(tài)系統(tǒng)的開發(fā)，共同幫助更高效地運行人工智能系統(tǒng)。

“我們現(xiàn)在計劃擴大這種架構(gòu)，探索更多的憶阻技術(shù)并探索更多的神經(jīng)網(wǎng)絡(luò)架構(gòu)。”