人工智能機(jī)器學(xué)習(xí)計算和存儲同時進(jìn)行

人工智能 (AI) 應(yīng)用程序在我們的日常生活中無處不在。隨著傳感器、5G通信、邊緣計算等技術(shù)的不斷演進(jìn)，包括汽車、工廠自動化設(shè)備、醫(yī)療保健設(shè)備、各種消費電子產(chǎn)品和小型電池供電的物聯(lián)網(wǎng)(IoT)在內(nèi)的大型數(shù)據(jù)中心)節(jié)點，從數(shù)字化、網(wǎng)絡(luò)化功能的增加，逐漸演變?yōu)閾碛胁煌瑢哟蔚摹爸悄堋薄?

這些智能系統(tǒng)可以將收集到的海量數(shù)據(jù)轉(zhuǎn)化為有用的信息，做出快速決策并實時做出適當(dāng)響應(yīng)，或者將數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行深入分析以獲得更高價值的見解。它們能否充分發(fā)揮作用，不僅取決于中央處理器(CPU)的計算能力，還取決于內(nèi)存，內(nèi)存不再僅僅負(fù)責(zé)簡單的數(shù)據(jù)存儲功能，而是開始在共享中發(fā)揮越來越重要的作用處理器的計算任務(wù)。

Donald Huang 是 Macronix International Co., Ltd. (Macronix) 的產(chǎn)品營銷部總監(jiān)，該公司是非易失性存儲器集成組件的全球領(lǐng)導(dǎo)者。他以配備高級駕駛輔助系統(tǒng)(ADAS)和自動駕駛功能的智能網(wǎng)聯(lián)汽車為例，表示這類配備攝像頭、激光雷達(dá)和雷達(dá)等傳感器的系統(tǒng)每天可產(chǎn)生高達(dá)數(shù)TB的數(shù)據(jù)。因此，它的存儲器不僅需要大量的存儲容量和高傳輸帶寬，而且還必須滿足嚴(yán)格的汽車規(guī)范，這些規(guī)范對可靠性和質(zhì)量要求非常高。而且，

此外，他強(qiáng)調(diào)，當(dāng)AI應(yīng)用從云端走向邊緣時，對于車輛等需要安全和快速響應(yīng)的邊緣設(shè)備，內(nèi)存在實時數(shù)據(jù)處理和高速傳輸方面提供的支持不可或缺，而對降低系統(tǒng)功耗和成本的解決方案的需求也在上升。

黃總指出，為滿足人工智能應(yīng)用對高存儲容量、高速傳輸和低時延的要求，內(nèi)存組件在系統(tǒng)中的作用開始發(fā)生范式轉(zhuǎn)變;過去，閃存在系統(tǒng)中只起到純后端存儲的作用，支撐前端DRAM和處理器的嵌入式SRAM。不過，隨著數(shù)據(jù)量的大幅增加，對傳輸帶寬和速度的要求也越來越高，他說，需要一種全新的內(nèi)存架構(gòu)來應(yīng)對這些新興的應(yīng)用。

他接著解釋，因應(yīng)大數(shù)據(jù)的需求，目前主流的NAND和NOR閃存已經(jīng)從2D結(jié)構(gòu)轉(zhuǎn)向3D結(jié)構(gòu)，以達(dá)到更高的存儲密度和更低的成本。而人工智能系統(tǒng)也希望閃存能夠更靠近計算單元，以支持高速訪問并降低數(shù)據(jù)傳輸功耗。如今的新一代閃存直接在內(nèi)部增加了計算功能，準(zhǔn)備從幕后走向前臺，與中央處理器(CPU)和圖形處理器(GPU)并肩作戰(zhàn)?！癕acronix 最新的 FortiX 系列 3D NAND/NOR 閃存就是這樣一個'以內(nèi)存為中心'的創(chuàng)新解決方案，”Donald 說。

FortiX系列產(chǎn)品除了提供3D閃存的高存儲容量、穩(wěn)定的質(zhì)量和可靠性外，還具有支持實時數(shù)據(jù)處理、高傳輸帶寬和低功耗等額外優(yōu)勢。Donald表示，F(xiàn)ortiX解決方案的內(nèi)存搜索(IMS)和內(nèi)存計算(CIM)是數(shù)字和模擬架構(gòu)的計算功能。當(dāng)傳統(tǒng)的存儲和計算分離的馮諾依曼架構(gòu)遇到延遲和功耗瓶頸時，這種新架構(gòu)不僅可以大大減少內(nèi)存和CPU/GPU之間的數(shù)據(jù)傳輸。這不僅提高了速度并降低了功耗，而且還可以節(jié)省對模數(shù)轉(zhuǎn)換器、微控制器和 GPU 組件的需求，從而降低整體系統(tǒng)成本。FortiX 是 Macronix 團(tuán)隊花費多年時間進(jìn)行研發(fā)的心血結(jié)晶。相關(guān)技術(shù)論文近年來在國際電子器件會議(IEDM)、國際固態(tài)電路會議(ISSCC)等全球?qū)W術(shù)研討會上受到青睞。而且，F(xiàn)ortiX一直在申請專利。

FortiX的IMS功能可以直接從內(nèi)存中已有的數(shù)據(jù)中搜索比較數(shù)據(jù)(精確或接近)，支持并行輸入。Donald解釋說，3D NAND適合大數(shù)據(jù)量(>64Gb)的應(yīng)用，而3D NOR則支持TCAM和Hamming Distance Sorter架構(gòu)的高速應(yīng)用。有多種創(chuàng)新架構(gòu)提供靈活的選項來幫助物體檢測/圖像識別，包括智能車輛的車道識別等應(yīng)用。支持逐位邏輯運算的 CIM 函數(shù)可以在深度神經(jīng)網(wǎng)絡(luò)推理任務(wù)中執(zhí)行所需的 MAC 運算。Donald補(bǔ)充說，在性能方面，與傳統(tǒng)的馮諾依曼架構(gòu)系統(tǒng)相比，F(xiàn)ortiX IMS 3D NAND的內(nèi)部搜索速度高達(dá)300Gb/s，其每秒數(shù)據(jù)查詢率(QPS)可提升10倍以上，運行功耗(有功功率)僅為300mW左右，遠(yuǎn)低于DRAM的1W功耗。此外，經(jīng)過FortiX IMS 3D NAND加速器運行后，數(shù)據(jù)量可以減少到只有原來數(shù)據(jù)量的5%，大大減少了馮諾依曼架構(gòu)系統(tǒng)后續(xù)運行的數(shù)據(jù)移動，不僅降低功耗和總成本，同時顯著提高性能。

不過，Donald 也強(qiáng)調(diào)，新的 FortiX 架構(gòu)不同于現(xiàn)有的標(biāo)準(zhǔn)閃存產(chǎn)品。為了充分發(fā)揮FortiX的全部優(yōu)勢，旺宏在產(chǎn)品開發(fā)的早期階段就與客戶緊密合作，針對不同的應(yīng)用部署類似于特定應(yīng)用的標(biāo)準(zhǔn)產(chǎn)品，然后旨在將產(chǎn)品設(shè)計成通用的產(chǎn)品參考行業(yè)標(biāo)準(zhǔn)，包括內(nèi)存接口。旺宏之所以能夠為客戶提供優(yōu)秀的技術(shù)支持，是因為旺宏不僅擁有自己的晶圓廠生產(chǎn)線來確保內(nèi)存產(chǎn)品的質(zhì)量和可靠性，而且擁有強(qiáng)大的軟件和硬件工程師團(tuán)隊支持設(shè)計階段。雖然FortiX系列產(chǎn)品目前還沒有官宣，但Donald透露，旺宏一直在積極推動與目標(biāo)應(yīng)用客戶的設(shè)計合作，很可能在未來兩三年內(nèi)推出終端產(chǎn)品，他也看好這一創(chuàng)新技術(shù)在人工智能時代的發(fā)展前景。旺宏歡迎對FortiX感興趣的廠商共同合作，共同探索和開發(fā)“以內(nèi)存為中心”解決方案的更多潛在應(yīng)用。