TetraMem將高性能的存內(nèi)運算與Andes晶心RISC-V向量處理器整合

簡介

人工智能在越來越多的硬件應(yīng)用中快速發(fā)展，推動了對傳統(tǒng)馮·諾依曼架構(gòu)無法滿足專業(yè)計算加速的前所未有的需求。在眾多競爭性替代方案中，最有前景的一種方案是模擬存內(nèi)運算(In-Memory Computing, IMC)。釋放多級阻變存儲器(RRAM)的潛力，讓這一承諾在今天比以往更加真實，硅谷新創(chuàng)公司TetraMem引領(lǐng)這一發(fā)展，正在解決阻礙這一解決方案發(fā)展的根本挑戰(zhàn)。該公司的獨特IMC采用多級RRAM技術(shù)，提供更高效、低延遲的AI處理，滿足AR/VR、移動設(shè)備、物聯(lián)網(wǎng)等現(xiàn)代應(yīng)用不斷增長的需求。

半導體產(chǎn)業(yè)背景

過去幾十年來，半導體產(chǎn)業(yè)取得了顯著進步，特別是在滿足人工智能和機器學習不斷增長的需求方面。芯片設(shè)計的創(chuàng)新突破了性能和效率的界限，然而，一些固有的持續(xù)挑戰(zhàn)仍然存在，例如馮·諾依曼瓶頸和存儲墻(memory wall)，限制了CPU和內(nèi)存之間的數(shù)據(jù)傳輸速率，以及與先進節(jié)點技術(shù)相關(guān)的不斷升級的功耗和熱管理問題。

IMC代表了一種突破性的計算方法轉(zhuǎn)變，改變了數(shù)據(jù)處理的方式。傳統(tǒng)的運算架構(gòu)將存儲和處理單元分開，產(chǎn)生大量的數(shù)據(jù)傳輸負擔，特別是對于以數(shù)據(jù)為中心的人工智能應(yīng)用程序。另一方面，IMC將存儲器和處理器整合在同一實體中，通過交叉陣列架構(gòu)實現(xiàn)更快、更高效的數(shù)據(jù)運算，進一步消除矩陣運算中的大量中間數(shù)據(jù)。這種方法對于大規(guī)模數(shù)據(jù)處理和實時分析至關(guān)重要的人工智能和機器學習應(yīng)用特別有益。

為IMC選擇合適的存儲設(shè)備至關(guān)重要，SRAM和DRAM等傳統(tǒng)存儲技術(shù)由于其設(shè)備和單元限制及其易失性特性，并未針對存儲中操作進行優(yōu)化。RRAM憑借其高密度、多級功能和非揮發(fā)性以及卓越的保持能力，無需刷新即可克服這些挑戰(zhàn)。RRAM的工作原理是通過控制電壓或電流來調(diào)整存儲單元的電阻變化，模仿人類大腦中突觸的行為，這一功能使RRAM特別適合模擬IMC。

TetraMem專注于多級RRAM(阻變存儲器)技術(shù)，與傳統(tǒng)的單級單元存儲技術(shù)相比，該技術(shù)具有多種優(yōu)勢。RRAM能夠在每個單元中存儲多個比特，并在原地執(zhí)行高效的矩陣乘法運算，這使其成為IMC的理想選擇。該技術(shù)解決了傳統(tǒng)數(shù)字運算的許多限制，例如帶寬限制和能效不足等問題。

RRAM可編程電路設(shè)備會記住其最后的穩(wěn)定電阻值，此電阻值可以通過施加電壓或電流來調(diào)節(jié)，施加在設(shè)備上的電壓和電流的大小和方向變化會改變其導電性，從而改變其電阻值。類似人類神經(jīng)元的功能，這種機制有多種應(yīng)用：存儲、模擬神經(jīng)元，以及TetraMem的存內(nèi)運算IMC。RRAM的操作由離子驅(qū)動，通過控制導電絲的尺寸、離子濃度和高度，可以精確實現(xiàn)不同的單元電阻多級變化。

數(shù)據(jù)在與存儲相同的實體中進行處理，中間數(shù)據(jù)移動和存儲最少，從而實現(xiàn)低功耗。通過具有設(shè)備級顆粒內(nèi)核的交叉陣列架構(gòu)進行大規(guī)模并行運算可產(chǎn)生高吞吐量。通過物理定律(歐姆定律和基爾霍夫電流定律)進行運算，確保低延遲。TetraMem的非易失性存內(nèi)運算單元相比傳統(tǒng)的數(shù)字馮·諾依曼架構(gòu)可大幅降低功耗。

顯著成就

TetraMem在RRAM技術(shù)的發(fā)展中取得了重要的里程碑。值得注意的是，該公司展示了一個前所未有的設(shè)備，每個單元具有11位，在單個設(shè)備中實現(xiàn)了2000多個信息等級，這一精度水平代表了存內(nèi)運算IMC技術(shù)的重大突破。

近期在Nature《1》和Science《2》等著名期刊上發(fā)表的文章強調(diào)了TetraMem的創(chuàng)新方法。提高單元噪聲性能和增強多級信息IMC運算技術(shù)是其重要的進展領(lǐng)域。例如，TetraMem開發(fā)了專有算法來抑制隨機電報噪聲(telegraph noise)，從而使RRAM單元具有更優(yōu)越的記憶保持和耐久性特征。

存內(nèi)運算(IMC)的運作

TetraMem的IMC技術(shù)采用交叉架構(gòu)，其中陣列中的每個交點對應(yīng)于一個可編程的RRAM存儲單元。這種配置允許高度并行操作，這對神經(jīng)網(wǎng)絡(luò)計算至關(guān)重要。在向量矩陣乘法(Vector-Matrix Multiplication, VMM)操作期間，輸入信號會應(yīng)用于交叉開關(guān)陣列，計算結(jié)果被收集到位線(bit lines)上。這種方法大大減少了在存儲和處理單元之間傳輸數(shù)據(jù)的需求，從而提高了計算效率。

實際應(yīng)用

TetraMem通過商業(yè)晶圓廠制造的首款評估SoC，MX100芯片(見下圖)展示了其IMC技術(shù)的實際應(yīng)用。該芯片已在多個芯片內(nèi)演示中展示了其能力，展示了其在現(xiàn)實場景中的功能。一個值得注意的演示是瞳孔中心網(wǎng)絡(luò)(Pupil Center Net, PCN)，展示了該芯片在AR/VR中的應(yīng)用，用于自動駕駛車輛中的面部追蹤和身份驗證監(jiān)控。

為了促進其技術(shù)的采用，TetraMem提供了全面的軟件開發(fā)套件(Software Development Kit, SDK)。此SDK使開發(fā)者能夠無縫地定義邊緣AI模型。此外，與Andes晶心科技的NX27V RISC-V CPU及其向量擴展功能的整合簡化了操作，讓客戶更輕松地將TetraMem的解決方案部署到其產(chǎn)品中。

TetraMem的IMC設(shè)計非常適合矩陣乘法，但在向量或標量運算等其他功能上的效率不高。這些運算在神經(jīng)網(wǎng)絡(luò)中經(jīng)常使用，為了支持這些功能，Andes晶心科技提供了CPU加向量引擎的靈活性，并擁有現(xiàn)有的SoC參考設(shè)計以及成熟的編譯器和函數(shù)庫，以加快我們的市場推廣時間。

TetraMem與Andes晶心科技合作，將其IMC技術(shù)與Andes晶心的RISC-V CPU和向量擴展集成在一起。這一合作提升了整體系統(tǒng)性能，為各種AI任務(wù)提供了強大的平臺。結(jié)合的解決方案充分利用了兩家公司優(yōu)勢，提供了一個靈活且高效的架構(gòu)。

展望未來，TetraMem準備推出基于22nm技術(shù)的MX200芯片，這款芯片承諾將提供更大的性能和效率。該芯片專為邊緣推理應(yīng)用而設(shè)計，提供低功耗、低延遲的AI處理。MX200預(yù)計將開拓新的市場機會，特別是在能源效率至關(guān)重要的電池供電的人工智能設(shè)備中。

結(jié)論

TetraMem在IMC方面的進展代表了AI硬件領(lǐng)域的一次重大飛躍。通過解決傳統(tǒng)計算的基本挑戰(zhàn)，TetraMem正在為更高效和可擴展的AI解決方案鋪平道路。隨著公司不斷創(chuàng)新并與Andes晶心科技等行業(yè)領(lǐng)導者合作，AI處理的未來看起來充滿希望。TetraMem的解決方案不僅提升了性能，還降低了采用尖端AI技術(shù)的門檻。