浪潮信息《有數(shù)?高端對話》：大模型時代存儲變革，產(chǎn)學(xué)研用共探新局

北京2024年12月23日 /美通社/ -- 在當(dāng)今數(shù)字化浪潮洶涌澎湃的時代背景下，大模型技術(shù)猶如一顆璀璨的明星，照亮了科技發(fā)展的廣闊蒼穹，而存儲技術(shù)的變革，作為這一進(jìn)程中的堅(jiān)實(shí)基石，正日益成為產(chǎn)業(yè)界與學(xué)術(shù)界共同矚目的核心焦點(diǎn)。

為此，浪潮信息聯(lián)合DOIT推出《有數(shù)?高端對話》欄目，分布式存儲產(chǎn)品線總經(jīng)理姜樂果及DOIT傳媒主編李祥敬，與特邀嘉賓上海交通大學(xué)吳晨濤和中科聞歌陳思含共同圍繞大模型的存儲需求變化，展開了一場深度對話。深入探討大模型時代背景下數(shù)據(jù)存儲的變革之道，共話數(shù)字經(jīng)濟(jì)的創(chuàng)新發(fā)展，進(jìn)一步夯實(shí)數(shù)據(jù)基礎(chǔ)設(shè)施，充分釋放數(shù)據(jù)資源的巨大價(jià)值，為廣大行業(yè)同仁及用戶提供價(jià)值參考與啟示。

大模型驅(qū)動存儲變革

大模型技術(shù)的迅猛發(fā)展對存儲系統(tǒng)提出了極為嚴(yán)苛的要求。以GPT-4為例，其參數(shù)量達(dá)到了2200億，每張GPU配備的HBM顯存帶寬達(dá)1.6TB/s，整體訓(xùn)練所需的顯存容量接近400TB。根據(jù)Meta等公司的調(diào)研數(shù)據(jù)顯示，大模型在運(yùn)行過程中會頻繁遭遇內(nèi)存故障，平均每2-3小時便可能導(dǎo)致一次訓(xùn)練中斷，這無疑對存儲系統(tǒng)的安全可靠性提出了極高的標(biāo)準(zhǔn)。吳晨濤教授以GPT-4等前沿模型作為實(shí)例，清晰闡明了大容量HBM顯存、高帶寬以及高可靠性是存儲系統(tǒng)不可或缺的三大核心特性。

同時，從宏觀角度出發(fā)，吳教授呼吁建立開放的數(shù)據(jù)生態(tài)。在這一生態(tài)中，通過強(qiáng)化監(jiān)管與隱私保護(hù)，旨在打破數(shù)據(jù)孤島，促進(jìn)數(shù)據(jù)的流動與共享，為高質(zhì)量數(shù)據(jù)的充分涌流開辟道路，從而為行業(yè)大模型的發(fā)展提供持續(xù)不斷的動力。

作為存儲廠商的代表，姜樂果從存儲技術(shù)進(jìn)化的視角出發(fā)，詳細(xì)闡述了在大模型驅(qū)動下，傳統(tǒng)計(jì)算與當(dāng)前智算中心存儲設(shè)施的全方位變革。在性能層面，智算中心對存儲性能的要求已從百GB級躍遷至TB級，與算力協(xié)同攀升；在容量維度，存儲系統(tǒng)已從PB級大步邁向EB級，輕松應(yīng)對海量數(shù)據(jù)洪流的沖擊。同時，數(shù)據(jù)格式與協(xié)議的多元化與復(fù)雜性日益顯著，這對存儲系統(tǒng)突破兼容壁壘提出了迫切需求。

姜樂果還展示了企業(yè)在數(shù)據(jù)要素市場的積極布局與創(chuàng)新探索。浪潮信息緊跟政策導(dǎo)向，與多方合作伙伴攜手，深入挖掘行業(yè)需求，精心研發(fā)端到端的解決方案及高性能存儲新品。例如，新一代分布式存儲平臺AS13000G7系列產(chǎn)品在MLPerf? AI存儲基準(zhǔn)評測中表現(xiàn)出色，在3D-UNet（醫(yī)學(xué)圖像分割）和CosmoFlow（宇宙學(xué)參數(shù)預(yù)測）兩個應(yīng)用場景共計(jì)8項(xiàng)測試中，斬獲5項(xiàng)全球第一，彰顯強(qiáng)大的性能實(shí)力，為行業(yè)大模型數(shù)據(jù)存儲難題提供有力支撐。

中科聞歌作為一家專注于復(fù)雜數(shù)據(jù)解析和AI輔助決策的人工智能公司，陳思含分享了中科聞歌在大模型實(shí)踐中的寶貴經(jīng)驗(yàn)。在大模型的發(fā)展歷程中，存儲需求經(jīng)歷了顯著的動態(tài)演變：從早期對訓(xùn)練速度的追求導(dǎo)致存儲性能需求激增，到參數(shù)量膨脹帶來的數(shù)據(jù)量與參數(shù)規(guī)模指數(shù)級增長，再到多模態(tài)數(shù)據(jù)處理對存儲復(fù)雜性的嚴(yán)格要求，以及混合讀寫模式和多樣化應(yīng)用場景引發(fā)的多元化需求。

數(shù)據(jù)質(zhì)量作為行業(yè)大模型發(fā)展的核心驅(qū)動力，中科聞歌在此方面進(jìn)行了創(chuàng)新實(shí)踐。集成了全球多語言媒體數(shù)據(jù)的聞海大數(shù)據(jù)平臺，運(yùn)用跨模態(tài)AI技術(shù)融合信息，構(gòu)建了垂直領(lǐng)域知識庫，并提供模塊化的智能大屏工具。這一平臺不僅具備全球范圍內(nèi)高效、安全獲取和處理高質(zhì)量數(shù)據(jù)的能力，還成為訓(xùn)練大模型所需高質(zhì)量數(shù)據(jù)的主要數(shù)據(jù)源和知識庫。

在為客戶提供大模型落地產(chǎn)品和系統(tǒng)時，中科聞歌采取了混合模式，即結(jié)合公司自身海量數(shù)據(jù)與用戶的私有行業(yè)數(shù)據(jù)進(jìn)行模型訓(xùn)練和應(yīng)用構(gòu)建，確保了客戶的數(shù)據(jù)安全，避免了數(shù)據(jù)出域的風(fēng)險(xiǎn)。

協(xié)同創(chuàng)新下的趨勢展望

展望未來存儲發(fā)展，吳晨濤教授立足學(xué)術(shù)前沿，前瞻性地預(yù)判了關(guān)鍵技術(shù)走向。他認(rèn)為，跨域資源調(diào)度共享技術(shù)，特別是基于CXL協(xié)議的內(nèi)存池創(chuàng)新，將打破資源限制，實(shí)現(xiàn)全域資源的靈動調(diào)配。同時，優(yōu)化元數(shù)據(jù)管理將提升數(shù)據(jù)檢索與處理效率，而內(nèi)存故障預(yù)測及Checkpointing技術(shù)則能確保系統(tǒng)穩(wěn)定運(yùn)行，最大限度地減少故障對數(shù)據(jù)處理連續(xù)性和完整性的影響。這些技術(shù)的迭代升級將為存儲技術(shù)的發(fā)展指明方向。

作為存儲廠商的代表，浪潮信息積極擁抱變革，從Storage for AI深度適配需求，到AI for Storage智能賦能提效，再到與大模型企業(yè)緊密合作，精準(zhǔn)挖掘系統(tǒng)性能潛能，為用戶提供更貼合業(yè)務(wù)的產(chǎn)品。

作為大模型企業(yè)的代表，中科聞歌致力于打造高效、安全和可靠的存儲系統(tǒng)，以適應(yīng)大模型時代的新要求。在架構(gòu)上，采用存算分離架構(gòu)部署AI-Ready數(shù)據(jù)基礎(chǔ)設(shè)施，以加速智能應(yīng)用。在效率提升方面，全閃存存儲憑借其卓越性能成為破局關(guān)鍵，能夠加速數(shù)據(jù)流轉(zhuǎn)，激活數(shù)據(jù)價(jià)值。而在安全防護(hù)層面，中科聞歌構(gòu)建主動防御體系，從內(nèi)核強(qiáng)化存儲安全，筑牢安全防線。

此次對話欄目的成功舉辦，不僅搭建了產(chǎn)學(xué)研用之間的溝通橋梁，還為各方的深度合作提供了寶貴的機(jī)會。各方代表能夠相互交流思想、碰撞火花，共同探討大模型時代下的存儲技術(shù)變革。這一舉措為產(chǎn)學(xué)研用四方攜手共進(jìn)創(chuàng)造了難得契機(jī)，共同迎接大模型時代帶來的存儲變革浪潮，推動我國存儲產(chǎn)業(yè)的繁榮發(fā)展。