Meta與NVIDIA聯(lián)合打造大型AI研究超級(jí)計(jì)算機(jī)

Meta的采用可以說是對(duì)NVIDIA的強(qiáng)力認(rèn)可。

Meta Platforms充分認(rèn)可NVIDIA，為其有望成為有史以來最強(qiáng)大的研究系統(tǒng)選擇了NVIDIA的先進(jìn)技術(shù)。

于今日發(fā)布的AI研究超級(jí)集群（RSC）已在訓(xùn)練新模型以推動(dòng)AI發(fā)展。

全面部署后，Meta的RSC預(yù)計(jì)將成為最大的NVIDIA DGX A100客戶系統(tǒng)。

Meta在一篇博客文章中表示：“我們希望RSC幫助我們建立全新的AI系統(tǒng)，例如可以為多個(gè)不同語言的團(tuán)隊(duì)提供實(shí)時(shí)語音翻譯，使他們可以在研究項(xiàng)目上無縫協(xié)作，甚至一起玩AR游戲?！?

訓(xùn)練最大的AI模型

當(dāng)RSC在今年晚些時(shí)候完全建成時(shí)，Meta將用它來訓(xùn)練具有超過1萬億個(gè)參數(shù)的AI模型。這將推動(dòng)自然語言處理等領(lǐng)域的發(fā)展，比如實(shí)時(shí)識(shí)別不法內(nèi)容等工作。

除了實(shí)現(xiàn)規(guī)模性能之外，Meta還將超高的可靠性、安全性、隱私性以及處理“各類AI模型”的靈活性作為RSC的關(guān)鍵指標(biāo)。

Meta的AI研究超級(jí)集群擁有數(shù)百個(gè)NVIDIA DGX系統(tǒng)并通過NVIDIA Quantum InfiniBand網(wǎng)絡(luò)相連接，助力Meta AI研究團(tuán)隊(duì)提高工作速率。

性能大揭秘

目前，此全新AI超級(jí)計(jì)算機(jī)已經(jīng)部署了760個(gè)NVIDIA DGX A100系統(tǒng)作為其計(jì)算節(jié)點(diǎn)。共有6080個(gè)NVIDIA A100 GPU，通過NVIDIA Quantum 200Gb/s InfiniBand網(wǎng)絡(luò)連接，可提供1895千萬億次TF32計(jì)算性能。

盡管受到新冠疫情的影響，這樣一臺(tái)可運(yùn)行的AI超級(jí)計(jì)算機(jī)從想法到實(shí)現(xiàn)，RSC僅用了18個(gè)月！ “功臣”之一便是采用NVIDIA DGX A100技術(shù)作為基石。

Penguin Computing是NVIDIA合作伙伴網(wǎng)絡(luò)中負(fù)責(zé)RSC交付的合作伙伴。除了760個(gè)DGX A100系統(tǒng)和InfiniBand網(wǎng)絡(luò)之外，Penguin還為Meta提供管理服務(wù)和AI基礎(chǔ)架構(gòu)優(yōu)化，包括一個(gè)46PB高速緩存的Altus系統(tǒng)。

性能提升20倍

這是Meta第二次選擇NVIDIA技術(shù)作為其研究平臺(tái)的基礎(chǔ)。2017年，Meta打造了第一代AI研究基礎(chǔ)架構(gòu)，配備了22000個(gè)NVIDIA V100 Tensor Core GPU，每日可處理35000項(xiàng)AI訓(xùn)練工作。

Meta的早期基準(zhǔn)測試顯示，RSC訓(xùn)練大型NLP模型的速度比之前的系統(tǒng)快3倍，運(yùn)行計(jì)算機(jī)視覺工作的速度比之前的系統(tǒng)快20倍。

在今年晚些時(shí)候的第二階段，RSC將擴(kuò)展至16000個(gè)GPU。Meta認(rèn)為屆時(shí)RSC將提供高達(dá)5百億億次級(jí)混合精度AI計(jì)算性能，并且Meta希望通過擴(kuò)展RSC的存儲(chǔ)系統(tǒng)，以每秒16TB的速度提供高達(dá)1EB的數(shù)據(jù)。

可擴(kuò)展架構(gòu)

NVIDIA AI技術(shù)適用于任何規(guī)模的企業(yè)應(yīng)用。

NVIDIA DGX包含一個(gè)完整的NVIDIA AI軟件棧，可以輕松地從單個(gè)系統(tǒng)擴(kuò)展至完整的DGX SuperPOD，可以在本地或主機(jī)托管商處運(yùn)行?？蛻粢嗫梢酝ㄟ^NVIDIA DGX Foundry租用DGX系統(tǒng)。