當(dāng)前位置:首頁(yè) > 芯聞號(hào) > 產(chǎn)業(yè)動(dòng)態(tài)
[導(dǎo)讀]北京2022年8月24日 /美通社/ -- 近日,在浪潮 & NVIDIA元宇宙算力發(fā)展研討會(huì)上,浪潮信息和NVIDIA分享了如何使用浪潮元宇宙服務(wù)器MetaEngine與NVIDIA Omniverse快速構(gòu)建高逼真的交互型數(shù)字虛擬人。 數(shù)字人生產(chǎn)需要強(qiáng)大的多元算力支...

北京2022年8月24日 /美通社/ -- 近日,在浪潮 & NVIDIA元宇宙算力發(fā)展研討會(huì)上,浪潮信息和NVIDIA分享了如何使用浪潮元宇宙服務(wù)器MetaEngine與NVIDIA Omniverse快速構(gòu)建高逼真的交互型數(shù)字虛擬人。

數(shù)字人生產(chǎn)需要強(qiáng)大的多元算力支撐

虛擬數(shù)字人是元宇宙的主要實(shí)體,就像是元宇宙世界中的公民,是人類身份在虛擬世界的載體。隨著2021年元宇宙風(fēng)起,更高擬真、超寫實(shí),具有強(qiáng)交互性的新一代虛擬人開始涌現(xiàn),且正在被規(guī)?;瘧?yīng)用到不同產(chǎn)業(yè)場(chǎng)景。

數(shù)字人生產(chǎn)可以拆分成人物建模、人物驅(qū)動(dòng)、人物渲染和感知交互四個(gè)作業(yè)環(huán)節(jié)。AI能夠加速虛擬數(shù)字人生產(chǎn)的每個(gè)作業(yè)環(huán)節(jié),可以說AI正在改變數(shù)字人的生產(chǎn)范式,將數(shù)字人的創(chuàng)作周期大幅縮短,提升生產(chǎn)效率,推動(dòng)數(shù)字人產(chǎn)業(yè)快速發(fā)展。

浪潮元宇宙服務(wù)器+NVIDIA Omniverse助力構(gòu)建高逼真交互型數(shù)字人


這樣一種新范式的背后其實(shí)是更巨量和多元的算力需求。具體而言,數(shù)字人和其他實(shí)體的建模需要眾多設(shè)計(jì)師協(xié)同創(chuàng)作完成,這就需要底層平臺(tái)具有強(qiáng)大虛擬化和云端協(xié)同計(jì)算能力;當(dāng)數(shù)字人建模完成之后,數(shù)字人自身的運(yùn)動(dòng),數(shù)字人和其所處的數(shù)字環(huán)境、以及其他實(shí)體的相互作用需要大量的結(jié)構(gòu)力學(xué)、彈性力學(xué),以及多體動(dòng)力學(xué)等物理仿真算力需求;讓數(shù)字人無(wú)限接近自然人,需要高逼真、沉浸感的3D渲染,例如阿麗塔高度擬真的視覺特效來源于光線追蹤、光柵化、DLSS等巨量的圖形圖像算力支撐;在智能交互環(huán)節(jié),由AI驅(qū)動(dòng)的數(shù)字人往往需要結(jié)合語(yǔ)音識(shí)別、NLP、DLRM等AI算法從而實(shí)現(xiàn)交互能力,這些模型的背后需要強(qiáng)大的AI算力來支撐其訓(xùn)練和推理。此外,現(xiàn)實(shí)世界和數(shù)字世界的交互則需要超低延遲的網(wǎng)絡(luò)數(shù)據(jù)傳輸,來創(chuàng)造更流暢的沉浸式的數(shù)字世界體驗(yàn)。

由此可以看出,元宇宙的構(gòu)建和運(yùn)行需要強(qiáng)大的多元算力支撐。這也對(duì)算力基礎(chǔ)設(shè)施提出了更高的要求,不僅是高性能、低延遲、易擴(kuò)展的硬件平臺(tái),還需要有端到端、生態(tài)豐富、易用的軟件棧。

浪潮MetaEngine:元宇宙算力平臺(tái)

浪潮元宇宙服務(wù)器MetaEngine就是要打造支撐元宇宙的軟硬一體化算力基礎(chǔ)設(shè)施。為此,浪潮與英偉達(dá)聯(lián)合打造業(yè)界超強(qiáng)軟硬件生態(tài),為數(shù)字人和數(shù)字孿生的構(gòu)建提供多元算力,以及豐富的技術(shù)和工具,為用戶打造高效的元宇宙協(xié)同開發(fā)體驗(yàn)。

浪潮元宇宙服務(wù)器+NVIDIA Omniverse助力構(gòu)建高逼真交互型數(shù)字人


在硬件上,MetaEngine采用浪潮領(lǐng)先的異構(gòu)加速服務(wù)器,支持最先進(jìn)的CPU和GPU,具有強(qiáng)大的RDMA通信和數(shù)據(jù)存儲(chǔ)能力,可提供強(qiáng)大的渲染和AI計(jì)算能力。

在軟件上,MetaEngine可以支持對(duì)應(yīng)每個(gè)作業(yè)環(huán)節(jié)的各類專業(yè)軟件工具,用戶可以根據(jù)使用習(xí)慣靈活選擇。同時(shí)系統(tǒng)全面支持NVIDIA Omniverse Enterprise,是經(jīng)過優(yōu)化的OVX系統(tǒng),可提供用于構(gòu)建和部署大規(guī)模數(shù)字孿生的相關(guān)功能及性能。用戶可以通過Kit功能將不同的SDK進(jìn)行模塊化的組合,快速完成定制化App或者微服務(wù)的開發(fā)?;ヂ?lián)插件CONNECT可以通過通用數(shù)據(jù)格式USD實(shí)現(xiàn)第三方專業(yè)軟件工具無(wú)縫連接,目前CONNECT已經(jīng)提供了20多種Plugins,支持與3DS MAX,UE, MAYA等軟件互聯(lián),解決不同軟件之間難以打通、互操作性弱的痛點(diǎn)難題。

MetaEngine還整合了浪潮"源"大模型和浪潮AIStation智能業(yè)務(wù)創(chuàng)新生產(chǎn)平臺(tái)的能力。浪潮"源"大模型參數(shù)規(guī)模高達(dá)2457億,具備知識(shí)問答、多輪對(duì)話、中英翻譯、寫作古詩(shī)等零樣本或小樣本的推理能力,可以讓虛擬人像人類一樣進(jìn)行自然語(yǔ)言交互。而針對(duì)浪潮"源"需要多GPU計(jì)算設(shè)備協(xié)同工作的問題,浪潮AIStation可實(shí)現(xiàn)多計(jì)算資源的智能調(diào)度管理,保證模型服務(wù)的高吞吐、低延遲。

浪潮MetaEngine - NVIDIA Omniverse快速構(gòu)建高逼真交互型數(shù)字人

浪潮信息與NVIDIA強(qiáng)強(qiáng)聯(lián)手,基于MetaEngine和NVIDIA Omniverse Enterprise推出了具備統(tǒng)一多軟件格式、支持多人協(xié)作、支持實(shí)時(shí)驅(qū)動(dòng)和實(shí)時(shí)光線追蹤渲染的虛擬人解決方案,強(qiáng)大的算力平臺(tái)及豐富的軟件棧讓虛擬人構(gòu)建由難變易,尤其適合大規(guī)模虛擬人制作場(chǎng)景。

方案集成了創(chuàng)建數(shù)字人的流程和技術(shù),可以快速生成毛發(fā)、皮膚、細(xì)節(jié)都非常逼真的超寫實(shí)數(shù)字人,幫助數(shù)字人制作用戶更好地創(chuàng)建自己的數(shù)字虛擬IP。

使用方案中的NVIDIA Ominiverse audio2face工具,通過很簡(jiǎn)短的一段音頻輸入,就可以驅(qū)動(dòng)這段語(yǔ)音對(duì)應(yīng)的表情,大大加速數(shù)字人的制作過程。

來源:NVIDIA “使用NVIDIA Omniverse auto2face制作AI驅(qū)動(dòng)的面部動(dòng)畫”


來源:NVIDIA “使用NVIDIA Omniverse auto2face制作AI驅(qū)動(dòng)的面部動(dòng)畫”

在動(dòng)作識(shí)別方面,以往采用光學(xué)和慣性動(dòng)作捕捉技術(shù),需要真人演員驅(qū)動(dòng),并使用大量的攝像頭、傳感器,制作難度大、成本高、周期長(zhǎng)?,F(xiàn)在,借助浪潮MetaEngine - NVIDIA Ominiverse方案,可以基于人體骨骼點(diǎn)二維運(yùn)動(dòng)特征向量進(jìn)行動(dòng)作識(shí)別,進(jìn)一步映射到數(shù)字人軀體上,快速驅(qū)動(dòng)數(shù)字人的表情和動(dòng)作。

浪潮元宇宙服務(wù)器+NVIDIA Omniverse助力構(gòu)建高逼真交互型數(shù)字人


此外,還可以實(shí)現(xiàn)數(shù)字虛擬人和真實(shí)人類的交互。虛擬人可以識(shí)別真實(shí)人類的動(dòng)作、肢體語(yǔ)言和反饋,再通過NLP模型、圖形圖像處理軟件,根據(jù)機(jī)器學(xué)習(xí)算法決定說什么話,來吸引真實(shí)的人類,和人類進(jìn)行交互。

來源:NVIDIA “與愛因斯坦虛擬人對(duì)話”


來源:NVIDIA “與愛因斯坦虛擬人對(duì)話”

如何使用浪潮MetaEngine和NVIDIA Ominiverse來構(gòu)建高逼真的交互型虛擬數(shù)字人呢?下面按照人物建模、人物驅(qū)動(dòng)、人物渲染、感知交互的作業(yè)流程來說明。

浪潮元宇宙服務(wù)器+NVIDIA Omniverse助力構(gòu)建高逼真交互型數(shù)字人


首先可以使用UE metahuman等軟件配合Omniverse的nucleus/connect進(jìn)行3D人物形象及人臉建模。

然后通過高精仿真,讓虛擬數(shù)字人的動(dòng)作和行為更加物理準(zhǔn)確。

接下來實(shí)時(shí)渲染環(huán)節(jié),RTX Renderer可以提供實(shí)時(shí)渲染能力,讓人物動(dòng)畫及其場(chǎng)景實(shí)時(shí)立體地展示在用戶面前,通過屏幕或XR設(shè)備進(jìn)行溝通交流。

最后是智能交互,這部分需要有大量的AI模型提供支撐。用戶首先通過ASR和Vision AI模型進(jìn)行語(yǔ)音和圖像識(shí)別,進(jìn)一步將識(shí)別得到的結(jié)果送入全球領(lǐng)先的中文語(yǔ)言模型浪潮"源1.0"大模型來生成應(yīng)答的語(yǔ)言文本,在這個(gè)部分AIStation推理平臺(tái)會(huì)負(fù)責(zé)管理源1.0及語(yǔ)音模型,源回答的結(jié)果,會(huì)經(jīng)過tts模型轉(zhuǎn)化為語(yǔ)音,然后送入NVIDIA Omniverse audio2face,通過語(yǔ)音驅(qū)動(dòng)數(shù)字人面部產(chǎn)生逼真的表情及面部動(dòng)作,并通過RTX Renderer實(shí)時(shí)渲染能力生成動(dòng)畫視頻作為輸出與用戶交互,讓對(duì)話及交互更加自然真實(shí)。

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請(qǐng)聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請(qǐng)及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

倫敦2024年8月29日 /美通社/ -- 英國(guó)汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對(duì)日本游戲市場(chǎng)的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)開幕式在貴陽(yáng)舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國(guó)國(guó)際大數(shù)據(jù)產(chǎn)業(yè)博覽會(huì)上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語(yǔ)權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對(duì)環(huán)境變化,經(jīng)營(yíng)業(yè)績(jī)穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤(rùn)率延續(xù)升勢(shì) 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長(zhǎng) 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競(jìng)爭(zhēng)力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競(jìng)爭(zhēng)優(yōu)勢(shì)...

關(guān)鍵字: 通信 BSP 電信運(yùn)營(yíng)商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺(tái)與中國(guó)電影電視技術(shù)學(xué)會(huì)聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會(huì)上宣布正式成立。 活動(dòng)現(xiàn)場(chǎng) NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長(zhǎng)三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會(huì)上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡(jiǎn)稱"軟通動(dòng)力")與長(zhǎng)三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉