同時(shí)計(jì)算和存儲(chǔ)！Macronix 為人工智能應(yīng)用創(chuàng)造創(chuàng)新內(nèi)存

人工智能 (AI) 應(yīng)用程序已在我們的日常生活中無(wú)處不在。隨著傳感器、5G通信、邊緣計(jì)算等技術(shù)的不斷演進(jìn)，大規(guī)模數(shù)據(jù)中心，包括汽車、工廠自動(dòng)化設(shè)備、醫(yī)療保健設(shè)備、各種消費(fèi)電子產(chǎn)品和小型電池供電的物聯(lián)網(wǎng)(IoT ) 節(jié)點(diǎn)，逐漸從數(shù)字化和網(wǎng)絡(luò)化功能的加入，演變?yōu)閾碛胁煌瑢哟蔚摹爸悄堋薄?

這些智能系統(tǒng)可以將收集到的大量數(shù)據(jù)轉(zhuǎn)化為有用的信息，做出快速?zèng)Q策并實(shí)時(shí)做出適當(dāng)?shù)捻憫?yīng)，或者將數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行深入分析，以獲得更高價(jià)值的見解。能否充分發(fā)揮作用，不僅取決于中央處理器(CPU)的計(jì)算能力，還取決于內(nèi)存，內(nèi)存不再只負(fù)責(zé)簡(jiǎn)單的數(shù)據(jù)存儲(chǔ)功能，而在共享方面開始發(fā)揮越來(lái)越重要的作用處理器的計(jì)算任務(wù)。

Donald Huang 是非易失性存儲(chǔ)器集成組件的全球領(lǐng)導(dǎo)者 Macronix International Co., Ltd. (Macronix) 的產(chǎn)品營(yíng)銷部總監(jiān)。他以配備先進(jìn)駕駛輔助系統(tǒng)(ADAS)和自動(dòng)駕駛功能的智能網(wǎng)聯(lián)汽車為例，表示這種配備攝像頭、激光雷達(dá)和雷達(dá)等傳感器的系統(tǒng)每天可以產(chǎn)生高達(dá)數(shù) TB 的數(shù)據(jù)。因此，它的內(nèi)存不僅需要大量的存儲(chǔ)容量和高傳輸帶寬，而且還必須滿足對(duì)可靠性和質(zhì)量要求非常高的嚴(yán)格汽車規(guī)范。而且，

此外，他強(qiáng)調(diào)，當(dāng)人工智能應(yīng)用從云端遷移到邊緣時(shí)，對(duì)于車輛等邊緣設(shè)備需要安全性和快速響應(yīng)，內(nèi)存在實(shí)時(shí)數(shù)據(jù)處理和高速傳輸方面提供的支持是必不可少的，而對(duì)降低系統(tǒng)功耗和成本的解決方案的需求也在上升。

黃先生指出，為了滿足人工智能應(yīng)用對(duì)高存儲(chǔ)容量、高速傳輸和低延遲的要求，內(nèi)存組件在系統(tǒng)中的角色已經(jīng)開始發(fā)生范式轉(zhuǎn)變;過(guò)去，閃存在系統(tǒng)中只起到純后端存儲(chǔ)的作用，支持前端DRAM和處理器的嵌入式SRAM。然而，隨著數(shù)據(jù)量的顯著增加以及對(duì)傳輸帶寬和速度的要求越來(lái)越高，他表示，需要一種全新的內(nèi)存架構(gòu)來(lái)應(yīng)對(duì)這些新興應(yīng)用。

他接著解釋說(shuō)，為了應(yīng)對(duì)大數(shù)據(jù)的需求，目前主流的NAND和NOR閃存已經(jīng)從2D結(jié)構(gòu)轉(zhuǎn)向3D結(jié)構(gòu)，以實(shí)現(xiàn)更高的存儲(chǔ)密度和更低的成本。而人工智能系統(tǒng)也希望閃存更靠近計(jì)算單元，以支持高速訪問(wèn)并降低數(shù)據(jù)傳輸功耗。如今的新一代閃存直接在內(nèi)部增加計(jì)算功能，準(zhǔn)備從幕后走向前臺(tái)，與中央處理器(CPU)和圖形處理器(GPU)并肩作戰(zhàn)?！癕acronix 最新的 FortiX 系列 3D NAND/NOR 閃存就是這樣一種‘以內(nèi)存為中心’的創(chuàng)新解決方案，”Donald 說(shuō)。

FortiX系列產(chǎn)品除了提供3D閃存的高存儲(chǔ)容量、穩(wěn)定的質(zhì)量和可靠性外，還具有支持實(shí)時(shí)數(shù)據(jù)處理、高傳輸帶寬和低功耗的額外優(yōu)勢(shì)。Donald表示，F(xiàn)ortiX解決方案的內(nèi)存搜索(IMS)和內(nèi)存計(jì)算(CIM)是數(shù)模架構(gòu)的計(jì)算功能。當(dāng)傳統(tǒng)的存儲(chǔ)和計(jì)算分離的馮諾依曼架構(gòu)遇到延遲和功耗瓶頸時(shí)，這種新架構(gòu)不僅可以大大減少內(nèi)存與CPU/GPU之間的數(shù)據(jù)傳輸。這不僅提高了速度并降低了功耗，而且還可以節(jié)省對(duì)模數(shù)轉(zhuǎn)換器、微控制器和 GPU 組件的需求，從而降低整體系統(tǒng)成本。FortiX 是 Macronix 團(tuán)隊(duì)多年研發(fā)的心血結(jié)晶。相關(guān)技術(shù)論文近年來(lái)在國(guó)際電子器件會(huì)議(IEDM)、國(guó)際固態(tài)電路會(huì)議(ISSCC)等全球?qū)W術(shù)研討會(huì)上受到青睞。此外，F(xiàn)ortiX 一直在申請(qǐng)專利。

FortiX 的 IMS 功能可以直接從內(nèi)存中的現(xiàn)有數(shù)據(jù)中搜索和比較數(shù)據(jù)(精確或接近)，并支持并行輸入。Donald解釋說(shuō)，3D NAND適用于大數(shù)據(jù)量(>64Gb)的應(yīng)用，而3D NOR則支持TCAM和Hamming Distance Sorter架構(gòu)的高速應(yīng)用。有多種創(chuàng)新架構(gòu)提供靈活的選項(xiàng)來(lái)幫助對(duì)象檢測(cè)/圖像識(shí)別，包括智能車輛的車道識(shí)別等應(yīng)用。CIM 功能支持逐位邏輯運(yùn)算，可以在深度神經(jīng)網(wǎng)絡(luò)推理任務(wù)中執(zhí)行所需的 MAC 運(yùn)算。Donald補(bǔ)充說(shuō)，在性能方面，與傳統(tǒng)的馮諾依曼架構(gòu)體系相比，F(xiàn)ortiX IMS 3D NAND內(nèi)部搜索速度高達(dá)300Gb/s，其每秒數(shù)據(jù)查詢率(QPS)可提高10倍以上，其運(yùn)行功耗(有功功率)僅為300mW左右，遠(yuǎn)低于DRAM的1W功耗。此外，在 FortiX IMS 3D NAND 加速器運(yùn)行后，數(shù)據(jù)量可以減少到只有原始數(shù)據(jù)量的 5%，大大減少了馮諾依曼架構(gòu)系統(tǒng)后續(xù)運(yùn)行的數(shù)據(jù)移動(dòng)，從而不僅降低功耗和總成本，同時(shí)顯著提高性能。

不過(guò)，Donald 也強(qiáng)調(diào)，新的 FortiX 架構(gòu)不同于現(xiàn)有的標(biāo)準(zhǔn)閃存產(chǎn)品。為充分發(fā)揮 FortiX 的優(yōu)勢(shì)，Macronix 在產(chǎn)品開發(fā)的早期就與客戶密切合作，針對(duì)不同的應(yīng)用部署類似于特定應(yīng)用的標(biāo)準(zhǔn)產(chǎn)品，然后將產(chǎn)品設(shè)計(jì)成通用型。產(chǎn)品參考行業(yè)標(biāo)準(zhǔn)，包括內(nèi)存接口。Macronix 能夠?yàn)榭蛻籼峁┏錾募夹g(shù)支持，是因?yàn)?Macronix 不僅擁有自己的 fab 生產(chǎn)線來(lái)保證內(nèi)存產(chǎn)品的質(zhì)量和可靠性，而且還擁有強(qiáng)大的軟硬件工程師團(tuán)隊(duì)支持設(shè)計(jì)階段。雖然 FortiX 系列產(chǎn)品尚未正式公布，但 Donald 透露，Macronix 一直在積極推動(dòng)與目標(biāo)應(yīng)用客戶的設(shè)計(jì)合作，并有可能在未來(lái)兩到三年內(nèi)推出終端產(chǎn)品，他也看好這一創(chuàng)新技術(shù)在人工智能時(shí)代的發(fā)展前景。Macronix 歡迎對(duì) FortiX 感興趣的廠商共同探索和開發(fā)“以內(nèi)存為中心”解決方案的更多潛在應(yīng)用。