MathWorks 宣布 MATLAB 與 NVIDIA TensorRT 集成來(lái)加快人工智能應(yīng)用

MathWorks于2018年4月11日宣布 ，MATLAB 現(xiàn)在可通過(guò) GPU Coder 實(shí)現(xiàn)與 NVIDIA TensorRT 集成。這可以幫助工程師和科學(xué)家們?cè)?MATLAB 中開(kāi)發(fā)新的人工智能和深度學(xué)習(xí)模型，且可確保性能和效率滿足數(shù)據(jù)中心、嵌入式應(yīng)用和汽車應(yīng)用不斷增長(zhǎng)的需求。

MATLAB 提供了一個(gè)完整的工作流程來(lái)快速訓(xùn)練、驗(yàn)證和部署深度學(xué)習(xí)模型。工程師可以使用 GPU 資源，而無(wú)需額外編程操作，因此可以專注于應(yīng)用本身而不是性能調(diào)優(yōu)。NVIDIA TensorRT 與 GPU Coder 的全新集成使得可以在 MATLAB 中開(kāi)發(fā)深度學(xué)習(xí)模型，然后以高吞吐量低延遲的方式部署在 NVIDIA GPU 上運(yùn)行。內(nèi)部基準(zhǔn)測(cè)試顯示，MATLAB 生成的CUDA代碼與 TensorRT 結(jié)合，在部署 Alexnet模型進(jìn)行深度學(xué)習(xí)推理時(shí)，性能比 TensorFlow 高 5 倍;在部署 VGG-16 模型進(jìn)行深度學(xué)習(xí)推理時(shí)，性能比 TensorFlow 高 1.25 倍。*

“不斷發(fā)展的圖像、語(yǔ)音、傳感器和物聯(lián)網(wǎng) (IoT) 技術(shù)促使團(tuán)隊(duì)以更好的性能和效率研究人工智能解決方案。此外，深度學(xué)習(xí)模型變得越來(lái)越復(fù)雜。所有這些都給工程師們帶來(lái)了巨大的壓力，” MathWorks 總監(jiān) David Rich 說(shuō)。“現(xiàn)在，團(tuán)隊(duì)可以使用 MATLAB 訓(xùn)練深度學(xué)習(xí)模型，NVIDIA GPU 可以將實(shí)時(shí)推理部署到從云端到數(shù)據(jù)中心到嵌入式邊界設(shè)備等各種環(huán)境中。”

* 所有基準(zhǔn)測(cè)試均在一臺(tái)使用 NVIDIA TITAN Xp GPU、64GB RAM 的 Linux 12 core Intel® Xeon® E5-1650 v3 電腦上運(yùn)行，使用的軟件包括帶 GPU Coder 的 MATLAB R2018a、TensorRT 3.0.1、TensorFlow 1.6.0、CUDA 9.0 和 cuDNN 7。

對(duì)比 NVIDIA GPU 上的 TensorFlow，該集成使深度學(xué)習(xí)推理速度快 5 倍。