當(dāng)前位置:首頁 > 芯聞號(hào) > 美通社全球TMT
[導(dǎo)讀]北京2024年11月21日 /美通社/ -- 隨著智能時(shí)代的全面到來,數(shù)據(jù)量呈現(xiàn)出爆炸性增長,這對(duì)存儲(chǔ)系統(tǒng)提出了前所未有的高標(biāo)準(zhǔn)要求。從早期的"百模大戰(zhàn)"演進(jìn)至"千模大戰(zhàn)",現(xiàn)已邁入了一個(gè)以數(shù)據(jù)為核心的新時(shí)代,其中數(shù)據(jù)成為了算法與算力不可或...

北京2024年11月21日 /美通社/ -- 隨著智能時(shí)代的全面到來,數(shù)據(jù)量呈現(xiàn)出爆炸性增長,這對(duì)存儲(chǔ)系統(tǒng)提出了前所未有的高標(biāo)準(zhǔn)要求。從早期的"百模大戰(zhàn)"演進(jìn)至"千模大戰(zhàn)",現(xiàn)已邁入了一個(gè)以數(shù)據(jù)為核心的新時(shí)代,其中數(shù)據(jù)成為了算法與算力不可或缺的基礎(chǔ)支撐。

智能時(shí)代的存儲(chǔ)挑戰(zhàn)與機(jī)遇:浪潮信息的創(chuàng)新探索與實(shí)踐


在近期舉行的2024中國數(shù)據(jù)與存儲(chǔ)峰會(huì)上,浪潮信息分布式存儲(chǔ)產(chǎn)品部總經(jīng)理姜樂果發(fā)表了題為《智能時(shí)代的數(shù)據(jù)存儲(chǔ)平臺(tái)》的主題演講。在演講中,姜樂果深刻剖析了智能時(shí)代背景下數(shù)據(jù)存儲(chǔ)所面臨的挑戰(zhàn)及浪潮信息為應(yīng)對(duì)這些挑戰(zhàn)所做出的不懈努力與創(chuàng)新實(shí)踐。

智能時(shí)代下的數(shù)據(jù)存儲(chǔ)需求

無論是金融領(lǐng)域的風(fēng)險(xiǎn)精準(zhǔn)識(shí)別、智慧交通中的自動(dòng)駕駛技術(shù)、制造業(yè)中的精密質(zhì)量檢測,還是科研領(lǐng)域的高效計(jì)算探索,都深深依賴于海量數(shù)據(jù)的強(qiáng)大支持。然而,數(shù)據(jù)的迅猛增長也給存儲(chǔ)系統(tǒng)帶來了諸多前所未有的嚴(yán)峻挑戰(zhàn),這些挑戰(zhàn)涵蓋了更高的性能需求、更靈活的擴(kuò)展能力,以及更智能化的管理機(jī)制等多個(gè)方面。

在人工智能時(shí)代,數(shù)據(jù)作為最為關(guān)鍵的載體,其計(jì)算過程中的存儲(chǔ)環(huán)節(jié)面臨著性能、效率和韌性這三大核心挑戰(zhàn)。

姜樂果在演講中著重指出,數(shù)據(jù)存儲(chǔ)的性能已經(jīng)成為制約眾多應(yīng)用場景進(jìn)一步發(fā)展的關(guān)鍵因素之一。相較于以往,大模型的訓(xùn)練對(duì)存儲(chǔ)性能的需求已經(jīng)躍升了多個(gè)數(shù)量級(jí)。在傳統(tǒng)時(shí)代,存儲(chǔ)性能往往停留在百GB級(jí)的水平,而到了大模型訓(xùn)練的時(shí)代,這一需求已經(jīng)激增到TB級(jí)。這意味著,如果沒有足夠快速的存儲(chǔ)設(shè)備作為支撐,數(shù)據(jù)的讀寫時(shí)間將會(huì)大幅度延長,進(jìn)而導(dǎo)致GPU等昂貴且寶貴的計(jì)算資源處于閑置狀態(tài),造成資源的極大浪費(fèi)。

除了性能之外,數(shù)據(jù)存儲(chǔ)的效率也是至關(guān)重要的。在當(dāng)今這個(gè)數(shù)據(jù)多源異構(gòu)的時(shí)代,數(shù)據(jù)來源于網(wǎng)絡(luò)、云端以及政府機(jī)構(gòu)等多個(gè)渠道,如何迅速有效地對(duì)這些數(shù)據(jù)進(jìn)行清洗、整合,并最終形成有價(jià)值的數(shù)據(jù)資源,成為了一個(gè)亟待解決的難題。

此外,從國家政策的角度來看,數(shù)據(jù)要素已經(jīng)被正式納入資產(chǎn)負(fù)債表,成為了企業(yè)資產(chǎn)中不可或缺的一部分。這一舉措不僅彰顯了數(shù)據(jù)的巨大價(jià)值,同時(shí)也對(duì)存儲(chǔ)系統(tǒng)的安全性與可靠性提出了更為嚴(yán)格的要求,以確保數(shù)據(jù)的完整性和保密性。

浪潮信息的創(chuàng)新探索與實(shí)踐

面對(duì)智能時(shí)代的種種挑戰(zhàn),浪潮信息已經(jīng)形成了清晰的存儲(chǔ)平臺(tái)構(gòu)建策略。

在產(chǎn)品布局上,浪潮信息針對(duì)大模型訓(xùn)練推出了軟件定義存儲(chǔ),它融合了塊、文件、對(duì)象和大數(shù)據(jù)等多種存儲(chǔ)類型,注重提供極致的性能和容量,并能夠同時(shí)管理上層業(yè)務(wù)應(yīng)用和第三方存儲(chǔ)資源。而對(duì)于推理場景,浪潮信息則推出了陣列存儲(chǔ),利用傳統(tǒng)盤陣的微秒級(jí)延時(shí)優(yōu)勢,能夠迅速響應(yīng)如人工智能駕駛等高要求場景的需求。此外,浪潮信息還自主研發(fā)了SSD,通過打通IO路徑,進(jìn)一步提升了存儲(chǔ)效率。

為了提升性能,浪潮信息采用了端到端的優(yōu)化策略。結(jié)合SSD和技術(shù)架構(gòu)的演進(jìn),通過智能運(yùn)行、緩存和自解鎖等技術(shù),對(duì)軟件架構(gòu)進(jìn)行了重構(gòu)。這使得小文件性能提升了5倍以上,大文件性能提升了10倍。在訓(xùn)練過程中,CheckPoint操作實(shí)現(xiàn)了秒級(jí)讀寫,TB級(jí)帶寬的案例有效減少了GPU時(shí)延的浪費(fèi),從而提升了訓(xùn)練效率。

在智能空間管理方面,浪潮信息去除了本地文件系統(tǒng),直接管理裸盤,并預(yù)分配空間和權(quán)限到計(jì)算節(jié)點(diǎn)。這種方式減少了原數(shù)據(jù)的訪問,使得空間利用率達(dá)到了95%以上,同時(shí)性能沒有衰減,進(jìn)一步縮短了大模型訓(xùn)練的時(shí)間。

融合存儲(chǔ)優(yōu)化管理:浪潮信息軟件定義存儲(chǔ)從2016年自研至今不斷發(fā)展,通過和客戶業(yè)務(wù)深度結(jié)合的方式,推動(dòng)產(chǎn)品從文件、對(duì)象融合逐步向四合一、五合一邁進(jìn)。到目前,存儲(chǔ)對(duì)內(nèi)可以實(shí)現(xiàn)多協(xié)議互訪互通、語義無損,同時(shí)只需要保存一份數(shù)據(jù)供多種協(xié)議訪問;存儲(chǔ)對(duì)外可通過全局文件系統(tǒng)支持?jǐn)?shù)據(jù)跨介質(zhì)、跨終端、跨域流動(dòng),實(shí)現(xiàn)一套存儲(chǔ)管理所有平臺(tái),優(yōu)化存儲(chǔ)效率。

安全可靠保障業(yè)務(wù):數(shù)據(jù)資產(chǎn)入表對(duì)安全性和可靠性要求高,浪潮信息在風(fēng)險(xiǎn)防控上檢測率高、誤報(bào)漏報(bào)率低,達(dá)到萬分之2.9。利用AIOps功能預(yù)測性能、容量趨勢和故障盤,提前預(yù)警處理,減少盤體故障導(dǎo)致的存儲(chǔ)宕機(jī)。

在全球存儲(chǔ)市場中,浪潮信息存儲(chǔ)裝機(jī)容量位居前三,企業(yè)存儲(chǔ)業(yè)務(wù)在中國位居第二,全閃存儲(chǔ)銷售額同樣在中國市場占據(jù)領(lǐng)先地位。隨著大數(shù)據(jù)、云計(jì)算、人工智能等技術(shù)的快速發(fā)展,數(shù)據(jù)存儲(chǔ)需求日益多樣化且復(fù)雜化?;诖耍顺毙畔{借深厚的技術(shù)研發(fā)底蘊(yùn),積極推動(dòng)場景共同體建設(shè),與合作伙伴共同探索解決方案、定制產(chǎn)品,并協(xié)同拓展市場,共同推動(dòng)存儲(chǔ)領(lǐng)域的進(jìn)步。展望未來,浪潮信息將不斷致力于提供更加優(yōu)質(zhì)、高效、安全的存儲(chǔ)解決方案,以應(yīng)對(duì)市場對(duì)高效、可靠存儲(chǔ)的迫切需求,為各行各業(yè)的數(shù)字化轉(zhuǎn)型和智能化升級(jí)提供堅(jiān)實(shí)支撐。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動(dòng)力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉