原創(chuàng)

亞馬遜云科技 re:Invent 2022 | 云服務(wù)商引領(lǐng)高性能計(jì)算芯片迭代，實(shí)現(xiàn)高能效云服務(wù)

時(shí)間：2022-12-26 12:07:00

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]蘋果引領(lǐng)了移動(dòng)計(jì)算芯片的持續(xù)突破，而亞馬遜云科技則引領(lǐng)了數(shù)據(jù)中心高性能計(jì)算的不斷創(chuàng)新。對于用戶場景的頂級理解和對用戶體驗(yàn)的至高追求，讓兩者在自研芯片上能夠有著比通用芯片商更高的成就。

蘋果引領(lǐng)了移動(dòng)計(jì)算芯片的持續(xù)突破，而亞馬遜云科技則引領(lǐng)了數(shù)據(jù)中心高性能計(jì)算的不斷創(chuàng)新。對于用戶場景的頂級理解和對用戶體驗(yàn)的至高追求，讓兩者在自研芯片上能夠有著比通用芯片商更高的成就。

在今年的re:Invent大會上，亞馬遜云科技展示了其最新的云中硬件上的突破，包括新版本的 AmazonNitro虛擬引擎、基于Arm的定制最新 AmazonGraviton 3E 芯片和一系列最新實(shí)例。一切都是為實(shí)現(xiàn)更高能效的高性能計(jì)算，而亞馬遜云科技中極限的客戶規(guī)模和HPC工作量，讓其在硬件上的每一點(diǎn)點(diǎn)特定負(fù)載優(yōu)化，都能夠獲得極大的整體效益。

“多年前我們意識到，要想突破性能極限，我們必須一直向下推進(jìn)到硅片的創(chuàng)新層面上。從那時(shí)起，我們的定制芯片就成為了亞馬遜云科技的一大差異化因素?！眮嗰R遜云科技CEO Adam Selipsk在re:Invent主題演講中分享到，“其他人已經(jīng)注意到、甚至宣布了其尚未真正問世的芯片，但沒有一個(gè)可以與亞馬遜云科技今天的水平相提并論。”

A mumbers of years ago, we realized that to push the performance envelope, we had to push all the way down to the silicon. So since then, our custom chip have been a big differentiator for AWS. Others have taken notice and even announced chips that haven't really come out yet, but none are even close to where AWS already is today.

——Adam Selipsk @ AWS re:Invent 2022

Nitro V5：晶體管數(shù)量翻倍，每瓦特性能提升了40%

AmazonNitro是亞馬遜云科技定制化自研芯片的起點(diǎn)，通過Nitro可以實(shí)現(xiàn)網(wǎng)絡(luò)的虛擬化、計(jì)算的虛擬化、存儲的虛擬化，保證系統(tǒng)很好的安全性。有了Nitro之后，系統(tǒng)不會占用用戶自己購買的CPU資源，從而提升了用戶整體計(jì)算服務(wù)效能。

AmazonNitro采用了一個(gè)專業(yè)的定制芯片和獨(dú)立的模塊化設(shè)計(jì)，包括三大特點(diǎn)。第一，Nitro有一個(gè)非常高效的虛擬化引擎，性能損耗不到1%，對用戶來說幾乎可以忽略不計(jì)。第二，Nitro系統(tǒng)提供了網(wǎng)絡(luò)和存儲能力，而且整個(gè)網(wǎng)絡(luò)和存儲的實(shí)現(xiàn)是完全隔離的，不會互相影響。第三，實(shí)現(xiàn)了一個(gè)硬件級別的安全機(jī)制。

AmazonNitro的整個(gè)演進(jìn)可以追溯到2012年，而在今年的re:Invent大會上發(fā)布了其第五代產(chǎn)品——Nitro V5。第一代Nitro的網(wǎng)絡(luò)性能只能做到萬兆級別（10Gbps），到第四代已經(jīng)可以達(dá)到100GB的能力(100Gbps)，有了10倍性能提升。而Nitro V5晶體管數(shù)量是第四代Nitro的兩倍，整個(gè)數(shù)據(jù)包的轉(zhuǎn)發(fā)能力提升了60%，延遲減少了30%，每瓦特的性能提升了40%。

此次最新發(fā)布的Amazon EC2 Hpc6id實(shí)例就是基于Amazon Nitro系統(tǒng)構(gòu)建，Hpc6id 實(shí)例旨在為數(shù)據(jù)和內(nèi)存密集型HPC工作負(fù)載提供領(lǐng)先的性價(jià)比，具有更高的每核內(nèi)存帶寬、更快的本地 SSD 存儲以及帶有彈性結(jié)構(gòu)適配器的增強(qiáng)網(wǎng)絡(luò)。Hpc6id實(shí)例提供200Gbps 彈性結(jié)構(gòu)適配器網(wǎng)絡(luò)，用于高吞吐量節(jié)點(diǎn)間通信，使客戶 HPC 工作負(fù)載能夠大規(guī)模運(yùn)行。

Graviton3E：浮點(diǎn)和向量運(yùn)算加強(qiáng)，AI更高能效

AmazonNitro是起點(diǎn)，但亞馬遜云科技并不止步于此。在高性能計(jì)算中心，CPU其實(shí)是更為關(guān)鍵的一類芯片，AmazonGraviton的意義也就在于此。

AmazonGraviton是亞馬遜基于Arm架構(gòu)定制開發(fā)的高性能計(jì)算芯片，而此次大會上發(fā)布的是其第三代——AmazonGraviton3E。據(jù)悉，Graviton3E配備了領(lǐng)先的DDR5的內(nèi)存，浮點(diǎn)性能和加密性能都提升了2倍，機(jī)器學(xué)習(xí)的工作負(fù)載能力提高了3倍。

如上圖所示，Graviton3E由7個(gè)chiplets組成，其中64個(gè)Arm計(jì)算核心作為主要計(jì)算單元放置在芯片中間，Arm核的兩側(cè)分別放置著DDR5的芯粒，下方是PCIe 5的芯粒。采用這種chiplet方式可以讓計(jì)算、內(nèi)存和接口芯片以不對稱的迭代方式分別進(jìn)行升級，確保Graviton的迭代節(jié)奏，并能夠在每一代都保持更高的性能。

Graviton3E專門針對浮點(diǎn)和向量指令運(yùn)算進(jìn)行了優(yōu)化，這將大大提升AI和ML這些高性能計(jì)算的工作效率。從用戶場景來看，在HPC新一代數(shù)據(jù)測量工具上，Graviton 3E相比于Graviton3有35%的提升，在分子運(yùn)動(dòng)分析場景上性能可以提升12%，在金融期權(quán)定價(jià)方面可以提升30%的性能。

芯片是硬件基礎(chǔ)，但并不是目的，實(shí)現(xiàn)高性能計(jì)算賦能才是最終答案。與Graviton3E一起，亞馬遜云科技在此次大會上也同步發(fā)布了Amazon EC2 Hpc7g實(shí)例。

Amazon EC2 Hpc7g實(shí)例采用了新發(fā)布的Graviton3E和Nitro V5，它提供了更多的網(wǎng)絡(luò)功能，擁有更高的內(nèi)存帶寬和200Gbps的EFA彈性結(jié)構(gòu)適配器網(wǎng)絡(luò)，性能方面與當(dāng)前一代C6gn實(shí)例相比浮點(diǎn)性能提高了2倍，與當(dāng)前一代Hpc6a實(shí)例相比性能提高了20%，為亞馬遜云科技上的高性能計(jì)算工作負(fù)載提供了超高性價(jià)比。

機(jī)器學(xué)習(xí)：超級集群訓(xùn)練和大型分布式推理

除了Nitro和Graviton外，亞馬遜云科技的第三條自研芯片線是機(jī)器學(xué)習(xí)芯片，包含訓(xùn)練和推理兩個(gè)系列。

在今年10月份亞馬遜云科技就發(fā)布了其在訓(xùn)練方面的最新進(jìn)展，最新的Trn1實(shí)例可以實(shí)現(xiàn)16顆Trn1的芯片，512個(gè)GB高帶寬內(nèi)存和800Gbps的網(wǎng)絡(luò)帶寬。而在此次re:Invent大會上，我們看到了最新的網(wǎng)絡(luò)加強(qiáng)的Trn1n實(shí)例。

據(jù)悉Trn1n把網(wǎng)絡(luò)帶寬增加了一倍，從800GB躍升到1.6個(gè)TB。通過強(qiáng)大的網(wǎng)絡(luò)吞吐能力，可以讓客戶能夠?qū)Τ^1萬個(gè)Traniumn芯片構(gòu)建在一個(gè)超大規(guī)模集群里，對超大集群進(jìn)行并行訓(xùn)練。

在推理芯片方面，亞馬遜云科技發(fā)布了最新的自研推理芯片AmazonInferentia2以及基于此的Amazon EC2 Inf2實(shí)例。

Amazon EC2 Inf2實(shí)例，是唯一一個(gè)專門為了大型transformer模型，所做的模型分布式推理建立的實(shí)例。和Inf1實(shí)例相比，Inf2實(shí)例整個(gè)吞吐量提升了4倍，延時(shí)只有十分之一。每瓦性能提升達(dá)到45%，同時(shí)也支持類似于GPT-3，Mask R-CNN、VIT等等這樣超大型的復(fù)雜模型。