OpenStack開源技術(shù)解讀：可視化智能日志管理項(xiàng)目Venus

北京2022年11月4日 /美通社/ -- 在開源社區(qū)建設(shè)過(guò)程中，浪潮云海OS團(tuán)隊(duì)始終秉承源于開源、饋于開源、完善開源的理念，不斷優(yōu)化社區(qū)已有功能、反饋客戶需求并積極貢獻(xiàn)到相關(guān)開源項(xiàng)目，以完善私有云場(chǎng)景，有效提升了OpenStack在私有云中大規(guī)模應(yīng)用場(chǎng)景中的性能和穩(wěn)定性。下面介紹下浪潮云海團(tuán)隊(duì)在社區(qū)貢獻(xiàn)的可視化日志管理項(xiàng)目 -- Venus。

可視化日志管理項(xiàng)目功能架構(gòu)

 支撐云數(shù)智融合實(shí)踐

Venus項(xiàng)目旨在打造一個(gè)開放的OpenStack日志管理平臺(tái)，收集廣大開發(fā)者和用戶在智能運(yùn)維領(lǐng)域的需求，基于特定應(yīng)用場(chǎng)景設(shè)計(jì)并開發(fā)基于OpenStack私有云的可視化日志管理系統(tǒng)，提供各場(chǎng)景日志分析、集成AC自動(dòng)機(jī)等模式匹配算法和知識(shí)圖譜實(shí)現(xiàn)故障的快速定位，構(gòu)建完備的日志運(yùn)維場(chǎng)景。浪潮云海OS團(tuán)隊(duì)基于浪潮云海云操作系統(tǒng)完成規(guī)模達(dá)500節(jié)點(diǎn)的單一集群大規(guī)模實(shí)踐，并聯(lián)合Intel發(fā)布了《基于500節(jié)點(diǎn)大規(guī)模單一集群行業(yè)云部署和性能優(yōu)化白皮書》，為社區(qū)成員與用戶構(gòu)建更大規(guī)模的OpenStack單一集群，提供了詳盡指導(dǎo)規(guī)范。

此后，浪潮云海OS團(tuán)隊(duì)完成了全球最大規(guī)模單一集群達(dá)1000節(jié)點(diǎn)的云數(shù)智融合實(shí)踐，充分檢驗(yàn)了浪潮云海云操作系統(tǒng)在大規(guī)模場(chǎng)景下平臺(tái)的敏捷交付、持續(xù)優(yōu)化和智能運(yùn)維能力，驗(yàn)證了操作系統(tǒng)的高性能、高效率和高可用性。

可視化日志管理項(xiàng)目在以上兩次大規(guī)模測(cè)試過(guò)程中起到了至關(guān)重要的作用，通過(guò)對(duì)發(fā)生故障的日志進(jìn)行分析，快速檢索平臺(tái)、云主機(jī)、云硬盤、加速器設(shè)備等資源遇到故障，相比于人工查找故障原因，使用Venus項(xiàng)目分析、定位故障原因令運(yùn)維效率提升了50%以上。

基于規(guī)則的異常日志檢測(cè)和告警

眾多可視化特性獲得好評(píng)

Venus自浪潮云海OS團(tuán)隊(duì)貢獻(xiàn)OpenStack社區(qū)之后，受到眾多開源廠商、開源愛好者的好評(píng)，眾多開源貢獻(xiàn)者積極參與到了Venus開源項(xiàng)目的貢獻(xiàn)中，浪潮云海秉著精益求精的匠心精神持續(xù)沉淀，在OpenStack Zed版本發(fā)布Venus項(xiàng)目的首個(gè)Release，團(tuán)隊(duì)在主線版本完成了基于Kolla的自動(dòng)化部署、日志檢索、日志清理、基于Horizon項(xiàng)目的可視化界面等眾多特性。

資源統(tǒng)計(jì)及告警分析

• Venus集成到Kolla-ansible部署方式，實(shí)現(xiàn)Venus配置文件自動(dòng)生成、數(shù)據(jù)注冊(cè)、創(chuàng)建數(shù)據(jù)及支持容器化服務(wù)啟動(dòng)等；
• 開發(fā)Venus的Horizon展示插件，完成日志檢索頁(yè)面；
• 完成多維度日志分析、典型錯(cuò)誤日志分析和自定義日志清理策略等。
  
  

Venus項(xiàng)目未來(lái)將會(huì)在智能化運(yùn)維的道路上持續(xù)深耕，為開源社區(qū)、廣大Venus開源項(xiàng)目的愛好者提供更多易用的功能，包括但不限于：

• Venus的Horizon展示插件實(shí)現(xiàn)多維度日志分析、典型錯(cuò)誤日志分析和自定義日志清理策略等頁(yè)面；
• 支持告警功能，包括自定義關(guān)鍵詞告警、日志流速告警等，實(shí)現(xiàn)海量日志中錯(cuò)誤的"大海撈針"和系統(tǒng)本身的穩(wěn)定性提升；
• 實(shí)現(xiàn)基于日志數(shù)據(jù)的智能運(yùn)維，包括基于日志數(shù)據(jù)的故障檢測(cè)和調(diào)用鏈分析，實(shí)現(xiàn)故障的快速定位。

面向資源池的資源及性能預(yù)測(cè)分析

一直以來(lái)，浪潮云海OS團(tuán)隊(duì)通過(guò)在架構(gòu)優(yōu)化、權(quán)威基準(zhǔn)測(cè)試、規(guī)?；瘧?yīng)用、社區(qū)貢獻(xiàn)、生態(tài)完善等方面的持續(xù)創(chuàng)新，構(gòu)建了開放、融合、敏捷、智能的云操作系統(tǒng)，為各行各業(yè)提供數(shù)字轉(zhuǎn)型、智能升級(jí)、融合創(chuàng)新的云基礎(chǔ)設(shè)施。同時(shí)持續(xù)推動(dòng)OpenStack、Kubernetes等開源技術(shù)在中國(guó)及世界范圍的發(fā)展，為打造創(chuàng)新技術(shù)引擎不懈努力。