馬斯克狂攬10萬(wàn)塊H100：自建世界最強(qiáng)AI超算集群
這一爆炸消息，由老馬在推特上親自官宣。
當(dāng)?shù)貢r(shí)間凌晨4:20，由xAI、X和英偉達(dá)等合力打造的孟菲斯超級(jí)集群已開(kāi)始投入訓(xùn)練。
它由10萬(wàn)塊H100組成，是目前世界上最強(qiáng)訓(xùn)練集群!
這一規(guī)模已遠(yuǎn)超世界最強(qiáng)超算Frontier。
xAI的創(chuàng)始成員緊隨其后表示：
1年前我們成立這家公司時(shí)，目標(biāo)是實(shí)現(xiàn)三個(gè)優(yōu)勢(shì)：數(shù)據(jù)優(yōu)勢(shì)、人才優(yōu)勢(shì)和計(jì)算優(yōu)勢(shì)。
從今天開(kāi)始，這三者我們都有了!
馬斯克帖子下，和英偉達(dá)關(guān)系密切、擅長(zhǎng)液冷技術(shù)的超威(Supermicro)也發(fā)來(lái)祝賀。其創(chuàng)始人查爾斯·梁表示：
很高興我們和馬斯克一起創(chuàng)造歷史。
同時(shí)，馬斯克補(bǔ)充說(shuō)，該集群的建成，為在今年內(nèi)訓(xùn)練出全球最強(qiáng)模型提供重大優(yōu)勢(shì)。
按照此前說(shuō)法，訓(xùn)練Grok-3正需要10萬(wàn)張H100。
不止于此，今年6月，他曾提到為了H100投入1GW電力是不值當(dāng)?shù)摹Ｃ髂晗奶?，可能要投入使用?0萬(wàn)塊B200組成的集群。
自建集群更有底氣
今年5月，The Information消息稱馬斯克要在2025年秋季前建成一個(gè)由10萬(wàn)H100組成的超算集群，與甲骨文進(jìn)行合作。
消息稱，xAI將出資100億美元用來(lái)租用甲骨文的服務(wù)器。
當(dāng)時(shí)還有人質(zhì)疑，為啥明年建成但還要用上一代技術(shù)?
英偉達(dá)已經(jīng)推出了基于Blackwell新架構(gòu)的B100和B200，訓(xùn)練大模型的效率遠(yuǎn)超H100。
如今來(lái)看，說(shuō)不定是消息中的時(shí)間有誤?如果是今年落成就合理多了。
就在最近，馬斯克回應(yīng)了和甲骨文終止合作建設(shè)超算集群的消息。
他表示，xAI從甲骨文拿到了24000塊H100的資源用來(lái)訓(xùn)練Grok-2。相關(guān)消息證明，xAI和甲骨文之間的服務(wù)器租用合作還在繼續(xù)。
但是在10萬(wàn)卡H100集群的建設(shè)上，選擇了自建模式，而且以最快速度推進(jìn)，據(jù)說(shuō)10萬(wàn)張卡安裝完畢只用了19天。
我們必須自己掌握方向盤。
之后消息顯示，戴爾和超微成為了馬斯克的新合作商。
戴爾CEO、超微CEO最近都在推特表示，正在進(jìn)行合作，并配上了數(shù)據(jù)中心的照片。
集群建設(shè)過(guò)程中，馬斯克親自去過(guò)現(xiàn)場(chǎng)。
同時(shí)也在推特透露過(guò)Grok正在孟菲斯訓(xùn)練，Grok-2將在8月推出。
值得一提的是，此前甲骨文對(duì)集群落成地點(diǎn)的電力供應(yīng)提出擔(dān)憂。
按照估算，10萬(wàn)塊H100需要從電網(wǎng)分配到150兆瓦電力，不過(guò)馬斯克似乎已解決這一問(wèn)題。
最新消息顯示，目前集群暫時(shí)拿到了8兆瓦。8月1日簽署協(xié)議后將拿到50兆瓦?，F(xiàn)在已經(jīng)有32000塊卡在線，第四季度將100%在線——這足以支持GPT-5規(guī)模模型訓(xùn)練運(yùn)行。
總之可以肯定的是，AI巨頭們都認(rèn)為，算力握在自己手里更可靠，為此值得瘋狂燒錢。
按照成本估算，每塊H100的價(jià)格約為3-4萬(wàn)美元。馬斯克的超算集群，價(jià)值將達(dá)40億美元(折合人民幣超290億)。
早前消息稱，微軟和OpenAI正在制定一項(xiàng)耗資達(dá)1000億美元的數(shù)據(jù)中心項(xiàng)目名為“星際之門”。
知情人士透露，甲骨文和微軟之間正在達(dá)成一項(xiàng)交易，涉及10萬(wàn)塊B200。這一集群可能在明年夏天準(zhǔn)備就緒。
除此之外，如Meta也被曝出過(guò)豪華超算集群，AWS等云廠商也在數(shù)據(jù)中心上的投入更大。
下載文檔
