亞馬遜云科技宣布由自研芯片Trainuim支持的Amazon EC2 Trn1實(shí)例正式可用

Amazon EC2 Trn1實(shí)例由Amazon Trainium芯片提供支持，在對(duì)亞馬遜云科技上流行的機(jī)器學(xué)習(xí)模型進(jìn)行深度學(xué)習(xí)訓(xùn)練方面具備超高性能，比基于GPU的同類實(shí)例節(jié)省高達(dá)50%的訓(xùn)練成本

PyTorch、Helixon和Money Forward等客戶與合作伙伴已在使用Trn1實(shí)例

北京 — 2022 年11月16日—日前，亞馬遜云科技宣布，由自研芯片Amazon Trainium支持的Amazon Elastic Compute Cloud（Amazon EC2）Trn1實(shí)例正式可用。Trn1 實(shí)例專為在云中進(jìn)行高性能機(jī)器學(xué)習(xí)模型訓(xùn)練而構(gòu)建，與基于 GPU 的同類實(shí)例相比，可節(jié)省高達(dá) 50% 的訓(xùn)練成本。Trn1實(shí)例能夠以超快的速度在亞馬遜云科技上訓(xùn)練機(jī)器學(xué)習(xí)模型，助力客戶縮短訓(xùn)練時(shí)間，快速迭代模型以提升準(zhǔn)確性，提高自然語(yǔ)言處理、語(yǔ)音和圖像識(shí)別、語(yǔ)義搜索、推薦引擎、欺詐檢測(cè)和預(yù)測(cè)等工作負(fù)載的運(yùn)行效率。使用Trn1實(shí)例無(wú)需最低消費(fèi)承諾或預(yù)付費(fèi)用，客戶只需為使用的計(jì)算量付費(fèi)。

越來(lái)越多客戶正在構(gòu)建、訓(xùn)練和部署機(jī)器學(xué)習(xí)模型，以支撐有望重塑其業(yè)務(wù)和客戶體驗(yàn)的應(yīng)用程序。這些機(jī)器學(xué)習(xí)模型變得越來(lái)越復(fù)雜，需要越來(lái)越多的訓(xùn)練數(shù)據(jù)提高準(zhǔn)確性。因此，客戶必須將其模型擴(kuò)展到數(shù)千個(gè)加速器上，致使訓(xùn)練成本越來(lái)越高。這會(huì)直接影響研發(fā)團(tuán)隊(duì)試驗(yàn)和訓(xùn)練不同模型的能力，限制客戶將創(chuàng)新推向市場(chǎng)的速度。亞馬遜云科技此前已經(jīng)為機(jī)器學(xué)習(xí)提供了廣泛且深入的硬件加速器計(jì)算產(chǎn)品選擇，包括由亞馬遜云科技自研芯片Amazon Inferentia支持的Inf1實(shí)例、G5實(shí)例、P4d實(shí)例和DL1實(shí)例。但是，即便使用當(dāng)前最快的加速實(shí)例，訓(xùn)練日益復(fù)雜的機(jī)器學(xué)習(xí)模型仍然非常昂貴和耗時(shí)。

由Amazon Trainium芯片支持的全新Trn1實(shí)例為在亞馬遜云科技上運(yùn)行的機(jī)器學(xué)習(xí)模型訓(xùn)練提供超高性價(jià)比和超快速度。與最新的、基于GPU的P4d實(shí)例相比，針對(duì)深度學(xué)習(xí)模型訓(xùn)練的成本可降低多達(dá)50%。借助針對(duì)Trn1實(shí)例的軟件開(kāi)發(fā)工具包（SDK）Amazon Neuron，客戶幾乎不需要更改代碼。并且，Amazon Neuron與PyTorch和TensorFlow等流行的機(jī)器學(xué)習(xí)框架集成。Trn1實(shí)例配有多達(dá)16顆專為部署深度學(xué)習(xí)模型而構(gòu)建的Amazon Trainium加速器。Trn1是首個(gè)提供高達(dá)800 Gbps的網(wǎng)絡(luò)帶寬的實(shí)例，延遲更低，比最新的基于GPU的EC2實(shí)例快2倍。它采用了亞馬遜云科技第二代Elastic Fabric Adapter（EFA）網(wǎng)絡(luò)接口來(lái)提高擴(kuò)展效率。Trn1實(shí)例還使用高速的實(shí)例內(nèi)聯(lián)技術(shù)NeuronLink加速訓(xùn)練?？蛻艨梢栽贏mazon EC2 UltraClusters超大規(guī)模集群中部署包含數(shù)以萬(wàn)計(jì)Trainium加速器的Trn1實(shí)例，快速訓(xùn)練包含數(shù)萬(wàn)億個(gè)參數(shù)的超復(fù)雜深度學(xué)習(xí)模型。憑借EC2 UltraClusters，客戶能夠使多達(dá)3萬(wàn)個(gè)Trainium加速器與EFA PB級(jí)網(wǎng)絡(luò)實(shí)現(xiàn)互連，擴(kuò)展機(jī)器學(xué)習(xí)模型訓(xùn)練，按需獲取超算級(jí)性能，將訓(xùn)練時(shí)間從數(shù)月縮短至數(shù)日。每個(gè)Trn1實(shí)例支持高達(dá)8TB的本地NVMe SSD存儲(chǔ)，可快速訪問(wèn)大型數(shù)據(jù)集。Amazon Trainium支持多種數(shù)據(jù)類型（FP32、TF32、BF16、FP16 和可配置的 FP8）和隨機(jī)舍入。隨機(jī)舍入是一種概率舍入的方法，與深度學(xué)習(xí)訓(xùn)練中經(jīng)常使用的傳統(tǒng)舍入模式相比，性能更強(qiáng)，準(zhǔn)確度更高。Amazon Trainium還支持動(dòng)態(tài)張量形狀和自定義運(yùn)算符，交付靈活的基礎(chǔ)設(shè)施，旨在隨客戶的訓(xùn)練需求而演進(jìn)。

亞馬遜云科技Amazon EC2副總裁David Brown表示：“近年來(lái)，我們見(jiàn)證了機(jī)器學(xué)習(xí)從大型企業(yè)使用的小眾技術(shù)發(fā)展成為許多客戶的業(yè)務(wù)核心。我們預(yù)計(jì)機(jī)器學(xué)習(xí)訓(xùn)練將迅速占據(jù)其大量的計(jì)算需求。在高性能機(jī)器學(xué)習(xí)芯片Amazon Inferentia成功的基礎(chǔ)上，我們推出專為高性能訓(xùn)練而構(gòu)建的第二代機(jī)器學(xué)習(xí)芯片Amazon Trainium。由Amazon Trainium支持的Trn1實(shí)例可幫助客戶將訓(xùn)練時(shí)間從數(shù)月縮短至數(shù)日，同時(shí)更具成本效益。”

Trn1實(shí)例基于Amazon Nitro系統(tǒng)構(gòu)建，該系統(tǒng)是亞馬遜云科技自研硬件和軟件創(chuàng)新的集大成者，可簡(jiǎn)化隔離式多租戶、專用網(wǎng)絡(luò)和快速本地存儲(chǔ)的交付。Amazon Nitro系統(tǒng)將CPU虛擬化、存儲(chǔ)和網(wǎng)絡(luò)功能卸載至專用硬件和軟件，交付近乎裸機(jī)的性能。Trn1實(shí)例將通過(guò)其他亞馬遜云科技服務(wù)提供，包括Amazon SageMaker、Amazon Elastic Kubernetes Service（Amazon EKS）、Amazon Elastic Container Service（Amazon ECS）和Amazon Batch。Trn1實(shí)例可以作為按需實(shí)例購(gòu)買，支持節(jié)省計(jì)劃（Saving Plans），也可以按預(yù)留實(shí)例或Spot實(shí)例購(gòu)買。Trn1實(shí)例現(xiàn)已在美國(guó)東部（弗吉尼亞北部）和美國(guó)西部（俄勒岡）區(qū)域可用，其他區(qū)域也將很快推出。

亞馬遜的產(chǎn)品搜索引擎索引了數(shù)十億種產(chǎn)品，每天提供數(shù)以十億計(jì)的客戶查詢，是全球頻繁使用的服務(wù)之一。Amazon Search高級(jí)首席科學(xué)家TrishulChilimbi表示：“我們正在訓(xùn)練大型語(yǔ)言模型，這些模型是多模式、多語(yǔ)言、多地區(qū)、基于多任務(wù)預(yù)訓(xùn)練的，跨多個(gè)維度（產(chǎn)品、查詢、品牌、評(píng)論等）改善客戶的購(gòu)物體驗(yàn)。與其他加速機(jī)器學(xué)習(xí)解決方案相比，Amazon EC2 Trn1實(shí)例可提供更高的性能功耗比，為訓(xùn)練大型語(yǔ)言模型提供了一種更可持續(xù)的方式，并以超低成本提供了高性能。我們計(jì)劃探索新的、可配置的FP8數(shù)據(jù)類型和硬件加速隨機(jī)舍入，進(jìn)一步提高訓(xùn)練效率和開(kāi)發(fā)速度?！?

PyTorch是一個(gè)開(kāi)源機(jī)器學(xué)習(xí)框架，可加速?gòu)难芯吭驮O(shè)計(jì)到生產(chǎn)部署的過(guò)程。“PyTorch希望加速將機(jī)器學(xué)習(xí)從研究原型設(shè)計(jì)到實(shí)際生產(chǎn)就緒、可供客戶使用的進(jìn)程。我們與亞馬遜云科技進(jìn)行了廣泛的合作，為由Amazon Trainium支持的全新Trn1實(shí)例提供原生PyTorch支持。構(gòu)建PyTorch模型的開(kāi)發(fā)人員只需少量代碼更改，即可在Trn1實(shí)例上開(kāi)啟訓(xùn)練?！盤(pán)yTorch應(yīng)用人工智能工程經(jīng)理Geeta Chauhan表示，“此外，我們還與OpenXLA社區(qū)合作，啟用PyTorch分布式庫(kù)，以便輕松地將模型從基于GPU的實(shí)例遷移至Trn1實(shí)例。Trn1實(shí)例為PyTorch社區(qū)帶來(lái)的創(chuàng)新包括更高效的數(shù)據(jù)類型、動(dòng)態(tài)形狀、自定義運(yùn)算符、硬件優(yōu)化的隨機(jī)舍入和快速調(diào)試模式，我們對(duì)此倍感興奮。所有這些功能讓Trn1實(shí)例非常適合PyTorch開(kāi)發(fā)人員廣泛采用。未來(lái)，我們期待共同為PyTorch做出貢獻(xiàn)，進(jìn)一步優(yōu)化訓(xùn)練性能。”

Helixon為蛋白質(zhì)療法構(gòu)建下一代人工智能（AI）解決方案，開(kāi)發(fā)AI工具，幫助科學(xué)家破譯蛋白質(zhì)功能和交互方式，查詢大規(guī)模基因組數(shù)據(jù)集以進(jìn)行靶標(biāo)鑒別，設(shè)計(jì)抗體和細(xì)胞療法等治療方法?！爱?dāng)前，我們使用像全分片數(shù)據(jù)并行（Fully ShardedData Parallel）等方式訓(xùn)練分布式庫(kù)，即通過(guò)許多基于GPU的服務(wù)器并行訓(xùn)練模型。但即便如此，訓(xùn)練單個(gè)模型仍需花費(fèi)數(shù)周時(shí)間?！盚elixon首席執(zhí)行官Jian Peng表示，“我們很高興能夠利用Amazon EC2 Trn1實(shí)例，它擁有亞馬遜云科技上超高的可用網(wǎng)絡(luò)帶寬，可以提高分布式訓(xùn)練作業(yè)性能，縮短模型訓(xùn)練時(shí)間，同時(shí)也降低成本。”

Money Forward公司為企業(yè)和個(gè)人提供開(kāi)放和公平的金融平臺(tái)。Money Forward首席技術(shù)官Takuya Nakade表示：“我們基于Amazon EC2 Inf1實(shí)例推出了大規(guī)模AI聊天機(jī)器人服務(wù)，與基于GPU的同類實(shí)例相比，推理延遲降低了97%，同時(shí)還降低了成本。我們會(huì)定期微調(diào)定制的自然語(yǔ)言處理模型，因此減少模型訓(xùn)練時(shí)間和成本很重要。根據(jù)我們?cè)贗nf1實(shí)例上成功遷移推理工作負(fù)載的經(jīng)驗(yàn)，以及采用基于Amazon Trainium的EC2Trn1實(shí)例所開(kāi)展的初始工作，我們預(yù)計(jì)Trn1實(shí)例將在提高端到端機(jī)器學(xué)習(xí)性能和降低成本方面提供額外價(jià)值。”

Magic是一家集生產(chǎn)和研究于一體的公司，它開(kāi)發(fā)的人工智能就像身邊的同事一樣，能夠幫助你提高生產(chǎn)效率。“訓(xùn)練基于大型自回歸變換器（large autoregressive transformer）的模型是我們工作的重要組成部分。由Amazon Trainium支持的Trn1實(shí)例專為此類工作負(fù)載設(shè)計(jì)，提供近乎無(wú)限的可擴(kuò)展性、快速的節(jié)點(diǎn)互聯(lián)以及對(duì) 16 位和 8 位數(shù)據(jù)類型的高級(jí)支持?！盡agic聯(lián)合創(chuàng)始人兼首席執(zhí)行官Eric Steinberger表示，“Trn1實(shí)例將幫助我們以更低成本更快速地訓(xùn)練大型模型。Trainium對(duì)BF16隨機(jī)舍入的原生支持功能特別令人興奮，不僅提高了性能，同時(shí)讓數(shù)值準(zhǔn)確性與全精度幾乎無(wú)異。”