英偉達(dá)Cosmos有哪些主要功能？英偉達(dá)Cosmos的工作原理是什么？

英偉達(dá)Cosmos世界基礎(chǔ)模型，由最先進(jìn)的生成式世界基礎(chǔ)模型、高級(jí)標(biāo)記器、護(hù)欄和加速視頻處理管道組成。為增進(jìn)大家對(duì)英偉達(dá)Cosmos的認(rèn)識(shí)，本文將對(duì)英偉達(dá)Cosmos的功能、英偉達(dá)Cosmos工作原理以及相關(guān)知識(shí)予以介紹。如果你對(duì)英偉達(dá)Cosmos具有興趣，不妨繼續(xù)往下閱讀哦。

一、英偉達(dá)Cosmos功能及其工作原理

1、主要功能

Cosmos主要功能，生成虛擬世界狀態(tài)：Cosmos能根據(jù)文本、圖像或視頻的提示生成高度仿真的虛擬世界狀態(tài)，適用于自動(dòng)駕駛和機(jī)器人應(yīng)用。

生成式模型：平臺(tái)基于生成式模型快速生成與真實(shí)世界場(chǎng)景相似的數(shù)據(jù)，幫助開(kāi)發(fā)者訓(xùn)練和評(píng)估現(xiàn)有的AI模型。

高級(jí)標(biāo)記器和數(shù)據(jù)處理：Cosmos集成了高級(jí)標(biāo)記器和加速視頻處理管道，生成的數(shù)據(jù)在后續(xù)的模型訓(xùn)練中發(fā)揮更大的作用。

安全與合規(guī)：平臺(tái)還提供了安全防護(hù)機(jī)制，確保數(shù)據(jù)的安全與合規(guī)。

開(kāi)放模型許可：Cosmos將以開(kāi)放模型許可的形式在Hugging Face和NVIDIA NGC目錄中提供，支持開(kāi)發(fā)者進(jìn)行定制化應(yīng)用。

2、Cosmos的技術(shù)原理

生成式世界基礎(chǔ)模型（WFM）：Cosmos使用先進(jìn)的生成式模型技術(shù)，模型包括擴(kuò)散模型和自回歸Transformer模型，能生成與真實(shí)世界高度一致的場(chǎng)景。

駕駛環(huán)境模擬：Cosmos能生成各種天氣和路況條件下的合成數(shù)據(jù)，為自動(dòng)駕駛系統(tǒng)的訓(xùn)練提供豐富的場(chǎng)景。

策略模型優(yōu)化：通過(guò)生成大量逼真的駕駛場(chǎng)景，Cosmos可以幫助自動(dòng)駕駛系統(tǒng)在模擬環(huán)境中進(jìn)行強(qiáng)化學(xué)習(xí)，優(yōu)化決策策略模型，測(cè)試在不同場(chǎng)景下的性能。

復(fù)雜環(huán)境適應(yīng)性訓(xùn)練：Cosmos可以為機(jī)器人提供復(fù)雜環(huán)境的實(shí)時(shí)模擬，使其感知系統(tǒng)通過(guò)合成數(shù)據(jù)進(jìn)行訓(xùn)練。

導(dǎo)航與任務(wù)執(zhí)行：基于Cosmos生成的虛擬世界狀態(tài)，機(jī)器人可以更好地理解和適應(yīng)周?chē)h(huán)境，實(shí)現(xiàn)更精準(zhǔn)的導(dǎo)航和任務(wù)執(zhí)行。

逼真場(chǎng)景生成：Cosmos能生成高度仿真的虛擬世界狀態(tài)，適用于虛擬現(xiàn)實(shí)游戲和仿真訓(xùn)練。例如，開(kāi)發(fā)者可以使用Omniverse創(chuàng)建三維場(chǎng)景，然后通過(guò)Cosmos將其轉(zhuǎn)換為逼真的場(chǎng)景，使機(jī)器人在模擬環(huán)境中進(jìn)行訓(xùn)練。

工業(yè)數(shù)字孿生：結(jié)合NVIDIA的Omniverse和Cosmos，可以創(chuàng)建工業(yè)數(shù)字孿生環(huán)境，用于工廠(chǎng)和倉(cāng)庫(kù)的模擬、測(cè)試和優(yōu)化。這使得在復(fù)雜生產(chǎn)設(shè)施和配送中心網(wǎng)絡(luò)中，能更好地進(jìn)行手動(dòng)設(shè)計(jì)、操作和優(yōu)化。

二、通過(guò) NVIDIA Cosmos 進(jìn)行自定義和部署

除基礎(chǔ)模型外，Cosmos 平臺(tái)還包括由 NVIDIA NeMo Curator 提供支持的數(shù)據(jù)處理和管理工作流，并針對(duì) NVIDIA 數(shù)據(jù)中心 GPU 進(jìn)行了優(yōu)化。

機(jī)器人和自動(dòng)駕駛汽車(chē)開(kāi)發(fā)者收集數(shù)百萬(wàn)或數(shù)十億小時(shí)的真實(shí)世界錄制視頻，從而產(chǎn)生數(shù)千萬(wàn)億字節(jié)級(jí)的數(shù)據(jù)。Cosmos 使開(kāi)發(fā)者能夠在 NVIDIA Hopper GPU 上僅用 40 天處理 2000 萬(wàn)小時(shí)的數(shù)據(jù)，在 NVIDIA Blackwell GPU 上只需 14 天就能處理 2000 萬(wàn)小時(shí)的數(shù)據(jù)。使用在具有等效功耗的 CPU 系統(tǒng)上運(yùn)行的未優(yōu)化的工作流，處理相同數(shù)量的數(shù)據(jù)將需要三年以上的時(shí)間。

該平臺(tái)還擁有一套強(qiáng)大的視頻和圖像 tokenizer，可以將視頻轉(zhuǎn)換為不同視頻壓縮比的標(biāo)記，用于訓(xùn)練各種 Transformer 模型。

與當(dāng)今先進(jìn)的 tokenizer 相比，Cosmos tokenizer 的總壓縮率高出 8 倍，處理速度快 12 倍，在訓(xùn)練和推理方面提供卓越的質(zhì)量并降低計(jì)算成本。開(kāi)發(fā)者可以通過(guò) Hugging Face 和 GitHub 訪(fǎng)問(wèn)這些根據(jù) NVIDIA 開(kāi)放模式許可提供的tokenizer。

使用 Cosmos 的開(kāi)發(fā)者還可以使用 NeMo 框架提供的模型訓(xùn)練和微調(diào)功能，NeMo 框架是一種 GPU 加速框架，可實(shí)現(xiàn)高吞吐量 AI 訓(xùn)練。

三、開(kāi)發(fā)安全、負(fù)責(zé)任的 AI 模型

現(xiàn)在，Cosmos 已根據(jù) NVIDIA 開(kāi)放模式許可協(xié)議向開(kāi)發(fā)者開(kāi)放，其開(kāi)發(fā)符合 NVIDIA 的可信 AI 原則，包括非歧視、隱私、安全、保障和透明度。

Cosmos 平臺(tái)包括 Cosmos Guardrails，這是一套專(zhuān)用的模型，其功能包括在預(yù)處理期間減少有害文本和圖像輸入，以及在后處理期間屏幕生成安全視頻。開(kāi)發(fā)者可以進(jìn)一步增強(qiáng)這些護(hù)欄，以適應(yīng)自定義應(yīng)用程序。

NVIDIA API Catalog 上的 Cosmos 模型還具有內(nèi)置的水印系統(tǒng)，可識(shí)別 AI 生成序列。

以上便是此次帶來(lái)的英偉達(dá)Cosmos相關(guān)內(nèi)容，通過(guò)本文，希望大家對(duì)英偉達(dá)Cosmos已經(jīng)具備一定的了解。如果你喜歡本文，不妨持續(xù)關(guān)注我們網(wǎng)站哦，將于后期帶來(lái)更多精彩內(nèi)容。最后，十分感謝大家的閱讀，have a nice day!