NVIDIA 推出生成式 AI 微服務(wù),供開發(fā)者在已安裝 NVIDIA CUDA GPU 的系統(tǒng)中創(chuàng)建和部署生成式 AI 助手
?全新由 GPU 加速的 NVIDIA NIM 微服務(wù)和云端端點(diǎn)目錄,適用于經(jīng)過優(yōu)化的預(yù)訓(xùn)練 AI 模型,可以在云、數(shù)據(jù)中心、工作站和 PC 等數(shù)億支持 CUDA 的 GPU 上運(yùn)行
?企業(yè)可以使用微服務(wù)來加速數(shù)據(jù)處理、大語言模型(LLM)定制、推理、檢索增強(qiáng)生成和護(hù)欄功能
?已被廣泛的 AI 生態(tài)系統(tǒng)所采用,包括 Cadence、CrowdStrike、SAP、ServiceNow 等領(lǐng)先的應(yīng)用平臺(tái)提供商
美國加利福尼亞州圣何塞 —— GTC —— 太平洋時(shí)間 2024 年 3 月 18 日—— NVIDIA 于今日推出數(shù)十項(xiàng)企業(yè)級(jí)生成式 AI 微服務(wù),企業(yè)可以利用這些微服務(wù)在自己的平臺(tái)上創(chuàng)建和部署定制應(yīng)用,同時(shí)保留對(duì)知識(shí)產(chǎn)權(quán)的完整所有權(quán)和控制權(quán)。
這些云原生微服務(wù)目錄在 NVIDIA CUDA® 平臺(tái)上開發(fā),其中包括 NVIDIA NIM? 微服務(wù),可適用于 NVIDIA 及合作伙伴生態(tài)系統(tǒng)中 20 多個(gè)熱門的 AI 模型進(jìn)行推理優(yōu)化。此外,用戶現(xiàn)能夠以 NVIDIA CUDA-X 微服務(wù)的形式使用 NVIDIA 加速軟件開發(fā)套件、庫和工具,用于檢索增強(qiáng)生成(RAG)、護(hù)欄、數(shù)據(jù)處理、HPC 等。NVIDIA 還發(fā)布了 20 多項(xiàng)醫(yī)療 NIM 和 CUDA-X 微服務(wù)。
這些精心挑選的微服務(wù)為 NVIDIA 全棧計(jì)算平臺(tái)增添了新的一層,連接起了由模型開發(fā)人員、平臺(tái)提供商和企業(yè)組成的 AI 生態(tài)系統(tǒng),使其能夠通過標(biāo)準(zhǔn)化的路徑來運(yùn)行針對(duì) NVIDIA CUDA 安裝基礎(chǔ)(在云、數(shù)據(jù)中心、工作站和 PC 中的數(shù)以億計(jì)的 GPU)優(yōu)化的定制 AI 模型。
包括 Adobe、Cadence、CrowdStrike、Getty Images、SAP、ServiceNow 和 Shutterstock 在內(nèi)的諸多領(lǐng)先應(yīng)用、數(shù)據(jù)和網(wǎng)絡(luò)安全平臺(tái)提供商已經(jīng)率先使用了 NVIDIA AI Enterprise 5.0 中提供的這些全新 NVIDIA 生成式 AI 微服務(wù)。
NVIDIA 創(chuàng)始人兼首席執(zhí)行官黃仁勛表示:“成熟的企業(yè)平臺(tái)坐擁數(shù)據(jù)金礦,這些數(shù)據(jù)可以轉(zhuǎn)化為生成式 AI 助手。我們與合作伙伴生態(tài)系統(tǒng)一起創(chuàng)建的這些容器化 AI 微服務(wù),是各行業(yè)企業(yè)成為 AI 公司的基石。”
NIM 推理微服務(wù)將部署時(shí)間從幾周縮短至幾分鐘
NIM 微服務(wù)提供基于 NVIDIA 推理軟件的預(yù)構(gòu)建容器,包括 Triton 推理服務(wù)器? 和 TensorRT?-LLM,使開發(fā)者能夠?qū)⒉渴饡r(shí)間從幾周縮短至幾分鐘。
它們?yōu)檎Z言、語音和藥物發(fā)現(xiàn)等領(lǐng)域提供行業(yè)標(biāo)準(zhǔn) API,使開發(fā)者能夠使用安全托管在自己的基礎(chǔ)設(shè)施中的專有數(shù)據(jù),來快速構(gòu)建 AI 應(yīng)用。這些應(yīng)用可按需擴(kuò)展,從而為在 NVIDIA 加速計(jì)算平臺(tái)上運(yùn)行生產(chǎn)級(jí)生成式 AI 提供靈活性和性能。
NIM 微服務(wù)為部署 NVIDIA、A121、Adept、Cohere、Getty Images 和 Shutterstock的模型,以及谷歌、Hugging Face、Meta、微軟、Mistral AI 和 Stability AI 的開放模型提供了快速且性能出色的生產(chǎn)級(jí) AI 容器。
ServiceNow 于今日宣布,其正在使用 NIM來更快、更經(jīng)濟(jì)地開發(fā)和部署針對(duì)特定領(lǐng)域的全新助手和其它生成式 AI 應(yīng)用。
用戶將能夠從亞馬遜 SageMaker、谷歌 Kubernetes Engine 和微軟 Azure AI中訪問 NIM 微服務(wù),并與 Deepset、LangChain 和 LlamaIndex 等流行的 AI 框架集成。
面向 RAG、數(shù)據(jù)處理、護(hù)欄、HPC 的 CUDA-X 微服務(wù)
CUDA-X 微服務(wù)為數(shù)據(jù)準(zhǔn)備、定制和訓(xùn)練提供端到端的構(gòu)建模塊,助力各行各業(yè)加快開發(fā)生產(chǎn)級(jí) AI。
為了加快 AI 采用,企業(yè)可以使用 CUDA-X 微服務(wù),包括用于定制語音和翻譯 AI 的 NVIDIA Riva、用于路由優(yōu)化的 NVIDIA cuOpt?,以及用于高分辨率氣候和天氣模擬的 NVIDIA Earth-2。
NeMo Retriever?微服務(wù)可讓開發(fā)者將其 AI 應(yīng)用鏈接到業(yè)務(wù)數(shù)據(jù),包括文本、圖像以及條形圖、折線圖和餅圖等可視化內(nèi)容,以生成高度準(zhǔn)確、與上下文相關(guān)的結(jié)果。借助這些 RAG 功能,企業(yè)可以向助手、聊天機(jī)器人和生成式 AI 生產(chǎn)力工具提供更多數(shù)據(jù),從而提高準(zhǔn)確性和洞察力。
更多用于定制模型開發(fā)的 NVIDIA NeMo? 微服務(wù)即將陸續(xù)發(fā)布,其中包括構(gòu)建用于訓(xùn)練和檢索的簡(jiǎn)潔數(shù)據(jù)集的 NVIDIA NeMo Curator、用于利用特定領(lǐng)域數(shù)據(jù)微調(diào) LLM 的 NVIDIA NeMo Customizer、用于分析 AI 模型性能的 NVIDIA NeMo Evaluator 以及用于 LLM 的 NVIDIA NeMo Guardrails。
生態(tài)系統(tǒng)通過生成式 AI 微服務(wù)賦能企業(yè)平臺(tái)
除了領(lǐng)先的應(yīng)用提供商外,NVIDIA 生態(tài)系統(tǒng)中的數(shù)據(jù)、基礎(chǔ)設(shè)施和計(jì)算平臺(tái)提供商也在使用 NVIDIA 微服務(wù),為企業(yè)帶來生成式 AI。
包括 Box、Cloudera、Cohesity、Datastax、Dropbox 和 NetApp 在內(nèi)的頂級(jí)數(shù)據(jù)平臺(tái)提供商正在使用 NVIDIA 微服務(wù),幫助客戶優(yōu)化 RAG 管道,并將專有數(shù)據(jù)集成到生成式 AI 應(yīng)用中。Snowflake 正在使用 NeMo Retriever,充分利用企業(yè)數(shù)據(jù)來構(gòu)建 AI 應(yīng)用。
企業(yè)可以在自己選擇的基礎(chǔ)設(shè)施上部署 NVIDIA AI Enterprise 5.0 中的 NVIDIA 微服務(wù),例如領(lǐng)先的亞馬遜云科技(AWS)、谷歌云、Azure 和 Oracle Cloud Infrastructure 等云平臺(tái)。
超過 400 個(gè) NVIDIA 認(rèn)證系統(tǒng)也支持 NVIDIA 微服務(wù),包括思科、戴爾科技、慧與(HPE)、惠普、聯(lián)想和超微的服務(wù)器和工作站。此外,慧與于今日宣布推出面向生成式 AI 的企業(yè)計(jì)算解決方案,計(jì)劃將 NIM 和 NVIDIA AI Foundation 模型集成到其 AI 軟件中。
NVIDIA AI Enterprise 微服務(wù)即將入駐基礎(chǔ)設(shè)施軟件平臺(tái),包括與 NVIDIA 合作的 VMware Private AI Foundation。紅帽 OpenShift 支持 NVIDIA NIM 微服務(wù),幫助企業(yè)更輕松地將生成式 AI 功能集成到自己的應(yīng)用中,同時(shí)優(yōu)化了安全性、合規(guī)性和控制功能。Canonical 也正在通過 NVIDIA AI Enterprise 為 NVIDIA 微服務(wù)添加 Charmed Kubernetes 支持。
NVIDIA 生態(tài)系統(tǒng)由數(shù)百家 AI 和 MLOps 合作伙伴組成,包括 Abridge、Anyscale、Dataiku、DataRobot、Glean、H2O.ai、Securiti AI、Scale.ai、OctoAI 和 Weights & Biases,它們將通過 NVIDIA AI Enterprise 來支持 NVIDIA 微服務(wù)。
Apache Lucene、Datastax、Faiss、Kinetica、Milvus、Redis 和 Weaviate 等向量搜索提供商也在使用 NVIDIA NeMo Retriever 微服務(wù),為企業(yè)提供快速響應(yīng)的 RAG 功能。
可用性
開發(fā)者可以免費(fèi)試用 NVIDIA 微服務(wù)。企業(yè)則可以在 NVIDIA 認(rèn)證系統(tǒng)和領(lǐng)先的云平臺(tái)上使用 NVIDIA AI Enterprise 5.0 部署生產(chǎn)級(jí) NIM 微服務(wù)。