PyTorch 宣布支持蘋果 M1 芯片，GPU大大加速，訓(xùn)練推理都加速

今年 3 月，蘋果發(fā)布了其自研 M1 芯片的最終型號 M1 Ultra，它由 1140 億個晶體管組成，是有史以來個人計(jì)算機(jī)中最大的數(shù)字。蘋果宣稱只需 1/3 的功耗，M1 Ultra 就可以實(shí)現(xiàn)比桌面級 GPU RTX 3090 更高的性能。

隨著用戶數(shù)量的增長，人們已經(jīng)逐漸接受使用 M1 芯片的計(jì)算機(jī)，但作為一款 ARM 架構(gòu)芯片，還有人在擔(dān)心部分任務(wù)的兼容性問題。昨天，通過與蘋果 Metal 團(tuán)隊(duì)工程師合作，PyTorch 官方宣布已正式支持在 M1 版本的 Mac 上進(jìn)行 GPU 加速的 PyTorch 機(jī)器學(xué)習(xí)模型訓(xùn)練。此前，Mac 上的 PyTorch 訓(xùn)練僅能利用 CPU，但隨著即將發(fā)布的 PyTorch v1.12 版本，開發(fā)和研究人員可以利用蘋果 GPU 大幅度加快模型訓(xùn)練?，F(xiàn)在，人們可以在 Mac 上相對高效地執(zhí)行機(jī)器學(xué)習(xí)工作，例如在本地進(jìn)行原型設(shè)計(jì)和微調(diào)。蘋果芯片的 AI 訓(xùn)練優(yōu)勢PyTorch GPU 訓(xùn)練加速是使用蘋果 Metal PeRFormance Shaders ( MPS ) 作為后端來實(shí)現(xiàn)的。MPS 后端擴(kuò)展了 PyTorch 框架，提供了在 Mac 上設(shè)置和運(yùn)行操作的腳本和功能。MPS 使用針對每個 Metal GPU 系列的獨(dú)特特性進(jìn)行微調(diào)的內(nèi)核能力來優(yōu)化計(jì)算性能。新設(shè)備將機(jī)器學(xué)習(xí)計(jì)算圖和原語映射到 MPS Graph 框架和 MPS 提供的調(diào)整內(nèi)核上。

PyTorch的前身是Torch，其底層和框架一樣，但是使用Python重新寫了很多內(nèi)容，不僅更加靈活，支持動態(tài)圖，而且提供了Python接口。它是由Torch7團(tuán)隊(duì)開發(fā)，是一個以Python優(yōu)先的深度學(xué)習(xí)框架，不僅能夠?qū)崿F(xiàn)強(qiáng)大的GPU加速，同時還支持動態(tài)神經(jīng)網(wǎng)絡(luò)。PyTorch既可以看作加入了GPU支持的numpy，同時也可以看成一個擁有自動求導(dǎo)功能的強(qiáng)大的深度神經(jīng)網(wǎng)絡(luò)。除了Facebook外，它已經(jīng)被Twitter、CMU和Salesforce等機(jī)構(gòu)采用。

M1 Ultra將兩個M1 Max芯片融合在一起，組成了一個具有20個CPU核和64個GPU核的處理器，以及高達(dá)128GB的RAM，這是我們測試過的速度最快的處理器之一。隨著 Mac Studio 的推出，蘋果還發(fā)布了全新的 Apple Silicon 芯片 M1 Ultra。這實(shí)際上是將兩個 M1 Max 芯片合二為一。Geekbench 測試顯示它比 Intel Mac Pro 中提供的最高規(guī)格 CPU 更強(qiáng)大時，我們初步了解到 M1 Ultra 芯片的強(qiáng)大程度。 “28 核 Intel Xeon W-3275M 處理器是 Mac Pro 中最好的處理器，多核得分為 19951。這意味著 M1 Ultra 比英特爾 Mac Pro 可用的最昂貴的 CPU 快約 20%。”Macworld 運(yùn)行了一組非常全面的基準(zhǔn)測試，這表明高端芯片的優(yōu)勢差異很大，ProRes 攝像師看到了最大的改進(jìn)。 “如果你對 ProRes 和 H.265 等視頻編解碼器很感興趣，那么擁有雙倍于 Ultra 中的加速器將帶來巨大的性能提升。如果你關(guān)心照片編輯器，那么兩種型號的單核性能幾乎相同，這意味著可以選擇更便宜的版本。但是，如果你確實(shí)需要進(jìn)行較重的照片工作，Ultra 的更高內(nèi)存限制可以派上用場。再次，認(rèn)識到你的工作流程需要什么，然后做出相應(yīng)的選擇?！?

一般認(rèn)為，蘋果的UltraFusion封裝架構(gòu)是基于臺積電(TSMC)的CoWoS(Chip-on-Wafer-on-Substrate)，這是一項(xiàng)2.5D封裝技術(shù)，可以將多個小芯片封裝到一個基板上。不過半導(dǎo)體封裝方面的專業(yè)人士Tom Wassick則放出了相關(guān)的幻燈片，顯示M1 Ultra采用的是名為“InFO_LI”的封裝方式，屬于本地芯片互聯(lián)的晶圓級封裝。

此前在春季發(fā)布會上，蘋果并沒有更新自家的筆記本產(chǎn)品線，而是“另起爐灶”推出了Mac Studio產(chǎn)品線，以替代此前設(shè)計(jì)稍顯過時的Mac Mini。芯片方面，Mac Studio采用的是將兩顆M1 Max“縫合”在一起的M1 Ultra芯片。那么在此后的WWDC 2022上，有業(yè)內(nèi)人士預(yù)測M2芯片將有極大可能正式亮相，并且實(shí)裝在全新的MacBook Air上。

同時，MacBook Air也將會更換全新的模具，并且像此前的M1 iMac一樣，擁有更多的配色。M2還將會可能被應(yīng)用在入門款的MacBook Pro和iMac系列產(chǎn)品上，這兩類產(chǎn)品也將有可能在WWDCC 2022上迎來更新。不知道，新的M2芯片，什么時候能被Torch兼容呢?這樣，Mac的優(yōu)勢就更大了。