浪潮AIStation突破企業(yè)AI計(jì)算資源極限，高效共享GPU

（文章來(lái)源：粵訊）

對(duì)于AI企業(yè)來(lái)說(shuō)，GPU等計(jì)算資源昂貴，如何提高資源利用率，保護(hù)計(jì)算力投資？如何解決資源搶占，保證資源使用公平合理？如何減少等待時(shí)間，提高模型訓(xùn)練效率……這些問(wèn)題都關(guān)系著研發(fā)創(chuàng)新的進(jìn)度。且看浪潮AIStation人工智能開發(fā)平臺(tái)用三招“組合拳”打破計(jì)算力壁壘，加速企業(yè)AI開發(fā)進(jìn)程。

某企業(yè)有四臺(tái)8卡GPU服務(wù)器供50位開發(fā)人員使用，典型的人多資源少。具體來(lái)說(shuō)，有以下幾大問(wèn)題：

人均不足一張GPU卡，GPU使用需要相互協(xié)調(diào)，開發(fā)效率低；每十多人為一個(gè)小組共用一個(gè)GPU節(jié)點(diǎn)，可能使有的小組資源空閑而有的小組卻無(wú)資源可用，造成資源孤島；缺乏優(yōu)先機(jī)制，重要任務(wù)無(wú)法得到及時(shí)提交；在白天GPU卡幾乎全部用于開發(fā)環(huán)境創(chuàng)建，開發(fā)人員只能在晚上提交訓(xùn)練任務(wù)，模型訓(xùn)練數(shù)量非常有限。

AIStaTIon是面向AI企業(yè)開發(fā)場(chǎng)景的人工智能資源平臺(tái)，可通過(guò)資源配額、GPU共享、排隊(duì)托管三招“組合拳”，智能化分配GPU計(jì)算資源，提高資源利用率，幫助用戶提高開發(fā)效率。首先，AIStaTIon收攏分散的計(jì)算資源，提供集群式的池化管理，并設(shè)置資源配額策略，實(shí)現(xiàn)多用戶公平均衡使用資源。

AIStaTIon將開發(fā)用戶劃分為5個(gè)用戶組，每個(gè)用戶組10人，并根據(jù)業(yè)務(wù)需求設(shè)置每組和每個(gè)用戶的使用配額，如可設(shè)置每組使用6張GPU卡、40個(gè)CPU核。并對(duì)每個(gè)用戶的開發(fā)環(huán)境使用時(shí)長(zhǎng)、同時(shí)提交任務(wù)數(shù)量進(jìn)行限制。其次，AIStaTIon通過(guò)GPU共享策略，可以讓多人共用一張GPU卡且互不影響。

AIStation統(tǒng)一管理4臺(tái)GPU節(jié)點(diǎn)，將其中2個(gè)節(jié)點(diǎn)的16張GPU卡設(shè)置為開發(fā)資源組，用于開發(fā)環(huán)境創(chuàng)建，剩下16張GPU卡為訓(xùn)練資源組，用于模型訓(xùn)練。通過(guò)共享策略，AIStation可將開發(fā)資源組的每張GPU卡切分為8份，每份使用4G顯存。這樣原來(lái)的16張GPU卡相當(dāng)于變?yōu)榱?28張卡。并且通過(guò)設(shè)置CPU超線程策略擴(kuò)展CPU核數(shù)，滿足50個(gè)用戶同時(shí)創(chuàng)建開發(fā)環(huán)境的需求。用戶也可以根據(jù)自己的模型設(shè)置batchsize和顯存使用的大小。

最后，AIStation通過(guò)任務(wù)排隊(duì)托管、定義任務(wù)優(yōu)先級(jí)，充分利用空閑時(shí)間訓(xùn)練任務(wù)，并且可根據(jù)優(yōu)先級(jí)調(diào)度任務(wù)排隊(duì)運(yùn)行。

用戶可同時(shí)提交多個(gè)訓(xùn)練任務(wù)，資源不足時(shí)排隊(duì)等待，一個(gè)任務(wù)訓(xùn)練結(jié)束后自動(dòng)釋放資源給排隊(duì)等待的任務(wù)，從而可以充分利用夜間、周末訓(xùn)練任務(wù)，延長(zhǎng)GPU的使用時(shí)間。同時(shí)用戶可設(shè)置優(yōu)先級(jí)，讓重要任務(wù)優(yōu)先訓(xùn)練。GPU使用時(shí)間加大近1倍。原來(lái)單個(gè)GPU節(jié)點(diǎn)分配給一個(gè)用戶小組使用，每卡每天的平均使用時(shí)間僅為14．4小時(shí)。AIStation通過(guò)GPU共享、任務(wù)托管，解決資源孤島，將每卡每天的平均使用時(shí)間提升到22．8小時(shí)。

GPU利用率提升50％。原來(lái)用戶在開發(fā)階段獨(dú)占一張GPU，GPU利用率僅為10％，訓(xùn)練階段可達(dá)90％，每天每卡的平均利用率為30％。使用AIStation后，開發(fā)階段8人共用一張GPU卡，GPU利用率可上升為80％，訓(xùn)練階段為90％，每天每卡的利用率可達(dá)到80％。

每周訓(xùn)練任務(wù)的數(shù)量增大一倍多。假設(shè)提交一個(gè)ImageNet數(shù)據(jù)集和一個(gè)ResNet50模型，使用1張Tesla V100 GPU卡訓(xùn)練任務(wù)，每個(gè)任務(wù)的訓(xùn)練時(shí)間大概為12小時(shí)。

原來(lái)因?yàn)槿司粔蛞粡埧ǎ?白天GPU卡用于創(chuàng)建開發(fā)環(huán)境，晚上才能訓(xùn)練任務(wù)，那么一個(gè)工作日可以完成的任務(wù)數(shù)最多為32個(gè)，即一周可以完成160個(gè)任務(wù)。而AIStation支持任務(wù)排隊(duì)，可以最大限度的使用GPU資源。一周可以完成368個(gè)任務(wù)數(shù)，效率提升2．3倍。假設(shè)開發(fā)團(tuán)隊(duì)單個(gè)項(xiàng)目平均需要訓(xùn)練的任務(wù)數(shù)為50，那么每個(gè)月的項(xiàng)目完成數(shù)從3個(gè)提升到7個(gè)。

可以看出，浪潮AIStation通過(guò)對(duì)計(jì)算資源的高效管理、調(diào)度，在GPU使用時(shí)間、利用率和訓(xùn)練任務(wù)數(shù)量上，相比原方案均實(shí)現(xiàn)了大幅提升，最大化地優(yōu)化了資源使用。

浪潮AIStation人工智能資源平臺(tái)面向AI企業(yè)開發(fā)場(chǎng)景，致力于幫助企業(yè)構(gòu)建一體化的AI開發(fā)平臺(tái)，為AI開發(fā)工程師提供高效的計(jì)算力支撐、精準(zhǔn)的資源管理和調(diào)度、敏捷的數(shù)據(jù)整合及加速、流程化的AI開發(fā)業(yè)務(wù)整合，助力AI企業(yè)提高開發(fā)效率和產(chǎn)品上市速度，增強(qiáng)企業(yè)競(jìng)爭(zhēng)力。除了高效的資源管理，AIStation在開發(fā)環(huán)境創(chuàng)建、數(shù)據(jù)管理、開發(fā)流程管理等方面也表現(xiàn)出色。
? ? ?