亞馬遜云科技宣布Amazon EC2 P5e 實(shí)例正式可用
亞馬遜云科技宣布由英偉達(dá)H200 GPU提供支持的 Amazon Elastic Compute Cloud P5e(Amazon EC2 P5e)實(shí)例現(xiàn)已正式可用。亞馬遜云科技是首個(gè)將英偉達(dá)H200 GPU用于生產(chǎn)環(huán)境的領(lǐng)先云提供商。與基于英偉達(dá)H100 GPU的Amazon EC2 P5實(shí)例相比,Amazon EC2 P5e實(shí)例GPU內(nèi)存容量提升1.7倍,GPU內(nèi)存寬帶提升1.5倍。Amazon EC2 P5e非常適用于復(fù)雜的大型語(yǔ)言模型(LLM)和多模態(tài)基礎(chǔ)模型(FM)的訓(xùn)練、微調(diào)和推理,用于支持最苛刻和計(jì)算密集型的生成式AI應(yīng)用,如問(wèn)答、代碼生成、視頻和圖像生成、語(yǔ)音識(shí)別等。
Amazon EC2 P5e實(shí)例提供8個(gè)英偉達(dá)H200 GPU,具有1128GB高帶寬GPU內(nèi)存,同時(shí)提供第三代AMD EPYC處理器,2TB系統(tǒng)內(nèi)存和30TB本地NVMe存儲(chǔ)。Amazon EC2 P5e實(shí)例還提供 3,200 Gbps的聚合網(wǎng)絡(luò)帶寬并支持GPUDirect RDMA,從而能夠繞過(guò)CPU進(jìn)行節(jié)點(diǎn)間通信,實(shí)現(xiàn)更低的延遲和高效的橫向擴(kuò)展性能。Amazon EC2 P5e實(shí)例具有的更高的內(nèi)存帶寬、更大的GPU內(nèi)存容量和對(duì)更大的batch sizes的支持,從而顯著提升客戶工作負(fù)載的性能、降低成本并簡(jiǎn)化運(yùn)營(yíng)。
Amazon EC2 P5e實(shí)例現(xiàn)已可通過(guò)Amazon EC2 Capacity Block for ML工具訪問(wèn)并在美國(guó)東部(俄亥俄州)區(qū)域正式可用。
此外,亞馬遜云科技還宣布將推出Amazon EC2 P5en實(shí)例,通過(guò)將英偉達(dá)H200 GPU與定制的第四代英特爾Xeon可擴(kuò)展處理器相結(jié)合支持PCle Gen5,將提供高達(dá)四倍的CPU和GPU之間的帶寬,降低網(wǎng)絡(luò)延遲,進(jìn)一步提高工作負(fù)載性能。