5萬(wàn)臺(tái)服務(wù)器"體檢"3分鐘完成！浪潮信息AIOps新升級(jí)厲害了

北京2024年12月26日 /美通社/ -- 根據(jù)調(diào)研報(bào)告顯示，大規(guī)模數(shù)據(jù)中心每宕機(jī)一分鐘將會(huì)造成近1萬(wàn)美元的經(jīng)濟(jì)損失，而數(shù)據(jù)中心的宕機(jī)成本隨著近年來(lái)數(shù)據(jù)中心規(guī)模的不斷擴(kuò)大還在不斷攀升，除經(jīng)濟(jì)損失外，宕機(jī)造成的業(yè)務(wù)中斷對(duì)公司聲譽(yù)有著不可估量的影響。"小病不治，大病難醫(yī)"，金融、互聯(lián)網(wǎng)行業(yè)大規(guī)模數(shù)據(jù)中心通常每月都會(huì)為IT基礎(chǔ)設(shè)施定期巡檢，以及時(shí)發(fā)現(xiàn)可疑問(wèn)題，快速修復(fù)，這已經(jīng)成為保障數(shù)據(jù)中心業(yè)務(wù)連續(xù)性的關(guān)鍵。

日前，浪潮信息全新升級(jí)數(shù)據(jù)中心服務(wù)器故障智能診斷AIOps技術(shù)。針對(duì)數(shù)據(jù)中心服務(wù)器日常巡檢中，故障人工識(shí)別效率低，難以精準(zhǔn)定位的問(wèn)題，浪潮信息基于數(shù)百萬(wàn)臺(tái)服務(wù)器運(yùn)維管理經(jīng)驗(yàn)，打造先進(jìn)的AI模型算法，融合專家經(jīng)驗(yàn)知識(shí)圖譜，構(gòu)建覆蓋問(wèn)題檢測(cè)、診斷、修復(fù)到驗(yàn)證的全生命周期故障閉環(huán)管理。在互聯(lián)網(wǎng)、金融等用戶數(shù)據(jù)中心部署應(yīng)用過(guò)程中，服務(wù)器故障智能診斷AIOps技術(shù)涵蓋國(guó)內(nèi)外眾多廠商的上百種不同型號(hào)的IT設(shè)備的各類故障，5萬(wàn)+服務(wù)器規(guī)模的數(shù)據(jù)中心，故障排查時(shí)間從4小時(shí)縮短至3分鐘，有效應(yīng)對(duì)數(shù)據(jù)中心規(guī)模不斷擴(kuò)大帶來(lái)的運(yùn)維管理挑戰(zhàn)，為數(shù)據(jù)中心的高效、精準(zhǔn)、智能化運(yùn)維提供了有力支撐，也為客戶的業(yè)務(wù)連續(xù)性提供保障。

數(shù)據(jù)中心服務(wù)器運(yùn)維"體檢"兩大難：人工效率低、故障識(shí)別難

隨著AIGC、5G、物聯(lián)網(wǎng)（IoT）等技術(shù)飛速發(fā)展，全球大型數(shù)據(jù)中心數(shù)量將以3.6％的年復(fù)合增長(zhǎng)率增長(zhǎng)，數(shù)據(jù)中心規(guī)模不斷擴(kuò)大，在這一過(guò)程中，服務(wù)器的代際及品牌也越來(lái)越繁雜，需要運(yùn)維工程師每月甚至每天定期對(duì)服務(wù)器故障進(jìn)行巡檢修復(fù)，這對(duì)運(yùn)維工程師的需求大幅增加，從而提升了企業(yè)運(yùn)維成本；同時(shí)，隨著越來(lái)越多的核心業(yè)務(wù)系統(tǒng)遷移到線上，業(yè)務(wù)對(duì)系統(tǒng)的即時(shí)性要求不斷提高，而且"小病不治，大病難醫(yī)"，日常定期巡檢已經(jīng)是保障系統(tǒng)的持續(xù)穩(wěn)定運(yùn)行的關(guān)鍵。

一方面，在傳統(tǒng)運(yùn)維中，為預(yù)防系統(tǒng)宕機(jī)風(fēng)險(xiǎn)，運(yùn)維人員會(huì)定期對(duì)服務(wù)器進(jìn)行日常故障巡檢，通過(guò)手動(dòng)篩查后臺(tái)運(yùn)行日志識(shí)別各類服務(wù)器故障，但這種人工方式的故障識(shí)別低效且時(shí)效性差。數(shù)據(jù)中心中服務(wù)器種類繁雜，品牌、型號(hào)、代際多樣，加之海量的故障日志和報(bào)警信息交織，使得人工分析過(guò)程耗時(shí)長(zhǎng)達(dá)數(shù)小時(shí)甚至數(shù)天。這種方式難以快速響應(yīng)業(yè)務(wù)需求，嚴(yán)重影響系統(tǒng)的可用性和故障恢復(fù)效率。

另一方面，據(jù)數(shù)據(jù)統(tǒng)計(jì)，大型數(shù)據(jù)中心的實(shí)際運(yùn)維中服務(wù)器最容易出現(xiàn)故障的三個(gè)部件分別是內(nèi)存、硬盤、CPU，傳統(tǒng)運(yùn)維檢測(cè)工具主要圍繞在這些部件的監(jiān)測(cè)上，但實(shí)際運(yùn)維中仍然有一些小概率故障會(huì)出現(xiàn)在風(fēng)扇、網(wǎng)卡、電源以及其他的元器件上，而這種小概率故障事件往往隱藏在復(fù)雜的運(yùn)行數(shù)據(jù)中，傳統(tǒng)工具難以精準(zhǔn)捕捉這些信號(hào)。由于此類問(wèn)題信號(hào)弱且不易察覺(jué)，未及時(shí)修復(fù)可能引發(fā)連鎖反應(yīng)，擴(kuò)大故障影響范圍，從而延長(zhǎng)修復(fù)周期并降低系統(tǒng)的可靠性。同時(shí)，一些復(fù)雜場(chǎng)景下的疑難故障排查高度依賴專家經(jīng)驗(yàn)，然而，運(yùn)維團(tuán)隊(duì)往往缺乏足夠的專家資源，導(dǎo)致問(wèn)題長(zhǎng)期得不到解決。這不僅拖延了系統(tǒng)恢復(fù)時(shí)間，還進(jìn)一步影響業(yè)務(wù)的穩(wěn)定性和用戶體驗(yàn)。

打造"識(shí)別-診斷-處理"一體化AIOps服務(wù)器智能診斷體系

針對(duì)數(shù)據(jù)中心傳統(tǒng)故障運(yùn)維的挑戰(zhàn)，浪潮信息以數(shù)百萬(wàn)級(jí)服務(wù)器統(tǒng)一管理經(jīng)驗(yàn)，全新升級(jí)數(shù)據(jù)中心AIOps智能診斷技術(shù)。AIOps智能診斷技術(shù)兼容多品牌、多型號(hào)及不同代際服務(wù)器產(chǎn)品，通過(guò)輕量化設(shè)計(jì)將診斷模型部署至服務(wù)器端，實(shí)現(xiàn)了關(guān)鍵指標(biāo)秒級(jí)感知與響應(yīng)、故障根因精準(zhǔn)診斷、解決方案秒級(jí)呈現(xiàn)的全鏈條智能，構(gòu)建了覆蓋問(wèn)題檢測(cè)、診斷、修復(fù)到驗(yàn)證的全生命周期故障閉環(huán)管理，全面助力數(shù)據(jù)中心智能、高效的運(yùn)維管理。

• 動(dòng)態(tài)實(shí)時(shí)日志分析技術(shù)，故障識(shí)別效率提升60倍以上

數(shù)據(jù)中心AIOps智能診斷技術(shù)引入了時(shí)序數(shù)據(jù)分析與分離算法，從關(guān)鍵部件，時(shí)序時(shí)間以及使用情況三個(gè)維度進(jìn)行交叉比對(duì)，在故障發(fā)生時(shí)實(shí)時(shí)篩選關(guān)鍵日志，打破了傳統(tǒng)單一維度、單線程的診斷模式。通過(guò)特征提取與異常模式匹配，讓檢測(cè)的顆粒度更加精細(xì)同時(shí)更加精準(zhǔn)，以便快速發(fā)現(xiàn)異常項(xiàng)，將傳統(tǒng)故障診斷的時(shí)長(zhǎng)從小時(shí)級(jí)縮短至分鐘級(jí)甚至秒級(jí)。而這種海量數(shù)據(jù)的多維度的感知，就好像是我們的五感一樣，不再是通過(guò)單一的觸覺(jué)或者是嗅覺(jué)判讀，而且通過(guò)"望聞問(wèn)切"的方式全景化、自動(dòng)化的快速定位問(wèn)題節(jié)點(diǎn)，大幅提升故障響應(yīng)效率，保障系統(tǒng)的高效運(yùn)維。

• 塑造可自進(jìn)化模型，小概率故障精準(zhǔn)率達(dá)90%以上

作為全球領(lǐng)先的算力基礎(chǔ)設(shè)施提供商，多年來(lái)浪潮信息在實(shí)踐中積累了海量的故障處理經(jīng)驗(yàn)，因此浪潮信息基于海量歷史數(shù)據(jù)構(gòu)建了故障診斷模型，并融合決策樹(shù)、深度學(xué)習(xí)等多種算法，對(duì)隱匿的小概率故障進(jìn)行精準(zhǔn)識(shí)別，故障診出率超過(guò)98%，高故障率部件故障診斷準(zhǔn)確率可達(dá)95%以上，小概率故障診斷準(zhǔn)確率提升至90%以上。同時(shí)，系統(tǒng)具備自學(xué)習(xí)能力，能逐步優(yōu)化診斷規(guī)則，應(yīng)對(duì)未知故障類型，有效提高系統(tǒng)穩(wěn)定性與可用性。

• 融合專家經(jīng)驗(yàn)的"口袋模型"，解決方案秒級(jí)呈現(xiàn)

浪潮信息將資深運(yùn)維專家的經(jīng)驗(yàn)轉(zhuǎn)化為知識(shí)圖譜，并與機(jī)器學(xué)習(xí)模型深度融合，推出"口袋模型"功能。該模型能夠在秒級(jí)內(nèi)提供最優(yōu)解決方案和清晰的故障處理指引，幫助運(yùn)維團(tuán)隊(duì)快速應(yīng)對(duì)疑難問(wèn)題，減少對(duì)專家支持的依賴，提升整體運(yùn)維效率。

當(dāng)前，該AIOps技術(shù)已廣泛應(yīng)用于金融、互聯(lián)網(wǎng)等行業(yè)大規(guī)模數(shù)據(jù)中心，應(yīng)用結(jié)果顯示，在5萬(wàn)+規(guī)模的數(shù)據(jù)中心，服務(wù)器故障排查時(shí)長(zhǎng)從4小時(shí)縮短至3分鐘，對(duì)于一些小概率故障的診斷更能見(jiàn)微知著，有效避免了業(yè)務(wù)中斷；同時(shí)，對(duì)于計(jì)算模塊、存儲(chǔ)模塊等存在復(fù)雜關(guān)聯(lián)關(guān)系的疑難故障問(wèn)題，故障處理時(shí)間減少80%以上，極大降低了運(yùn)維團(tuán)隊(duì)的工作壓力。這些創(chuàng)新成果不僅提升了故障響應(yīng)效率和診斷精準(zhǔn)度，還增強(qiáng)了系統(tǒng)的穩(wěn)定性與業(yè)務(wù)連續(xù)性，為企業(yè)數(shù)據(jù)中心的高效運(yùn)維提供了全面技術(shù)支持，樹(shù)立了智能化管理的行業(yè)標(biāo)桿。