在 COP26 氣候會(huì)議結(jié)束后，私營(yíng)公司和政府都在加緊承諾應(yīng)對(duì)氣候變化，采用公共政策和創(chuàng)新技術(shù)的組合來(lái)應(yīng)對(duì)我們這個(gè)時(shí)代的決定性挑戰(zhàn)之一。
其中一家公司是 Nvidia，它是超級(jí)計(jì)算機(jī)（稱(chēng)為“Earth-2”）的創(chuàng)造者，它利用預(yù)測(cè)模型幫助科學(xué)家了解未來(lái)幾十年全球氣候變化可能如何顯現(xiàn)。但是，盡管設(shè)想一個(gè)人工智能有助于應(yīng)對(duì)氣候危機(jī)的世界可能會(huì)令人興奮，但人工智能本身帶有 顯著的碳足跡這一諷刺性的諷刺是無(wú)法逃避的。
恰當(dāng)?shù)睦樱菏褂脗鹘y(tǒng)神經(jīng)架構(gòu)搜索構(gòu)建的單個(gè)基于變壓器的神經(jīng)網(wǎng)絡(luò)（2.13 億個(gè)參數(shù)）會(huì)產(chǎn)生超過(guò) 600,000 磅的二氧化碳，幾乎是普通汽車(chē)在其生命周期內(nèi)產(chǎn)生的排放量的六倍。
只有當(dāng)我們首先了解問(wèn)題的范圍時(shí)，才有可能縮小人工智能的碳足跡。幸運(yùn)的是，科技行業(yè)領(lǐng)導(dǎo)者可以采取一些措施來(lái)確保人工智能創(chuàng)新不會(huì)以犧牲地球健康為代價(jià)。從重新思考硬件和模型的復(fù)雜性，到減少訓(xùn)練和推理階段所需的處理，這就是實(shí)現(xiàn)生態(tài)友好型人工智能創(chuàng)新所需要的。
禁止低功耗模型
人工智能模型需要大量的能量才能運(yùn)行，并且它們對(duì)計(jì)算能力的渴望隨著模型的準(zhǔn)確性而增長(zhǎng)。AI 模型越大（因此通常預(yù)測(cè)更準(zhǔn)確），它需要的能量就越多。
為了將這種巨大的能源消耗放在背景下，在 2020 年， 用于解決魔方的算法 需要的能量相當(dāng)于三個(gè)核電站在一小時(shí)內(nèi)產(chǎn)生的能量。盡管這個(gè)例子是一個(gè)異常值（并且 AI 模型傾向于專(zhuān)注于解決更多實(shí)際問(wèn)題，而不是簡(jiǎn)單地解決魔方），但它仍然說(shuō)明了一個(gè)總體趨勢(shì)：隨著 AI 模型的規(guī)模和準(zhǔn)確性不斷增長(zhǎng)，它們的負(fù)面影響也在不斷增長(zhǎng)。環(huán)境。
提供一個(gè)不那么異想天開(kāi)的統(tǒng)計(jì)數(shù)據(jù)：早在 2018 年，進(jìn)行電力推理的數(shù)據(jù)中心每年估計(jì)使用 200 太瓦時(shí) (TWh)，超過(guò)了一些國(guó)家的國(guó)家能源消耗量。
直到最近，訓(xùn)練階段仍占 AI 算力消耗的大部分。但隨著越來(lái)越多的公司將他們的人工智能產(chǎn)品商業(yè)化，更多的能源消耗將用于推理。
隨著這一趨勢(shì)的加速，與人工智能相關(guān)的二氧化碳排放量將呈指數(shù)級(jí)增長(zhǎng)——除非該行業(yè)采取措施減少排放。
更重要的是，我們目睹了 AI 模型復(fù)雜性和大小的持續(xù)增加，模型大小從 2012 年的 26MB 增長(zhǎng)到 2019 年的1TB 。這種增長(zhǎng)相應(yīng)地推動(dòng)了對(duì)更多計(jì)算能力的需求。
與氣候變化本身一樣，人工智能正越來(lái)越不可逆轉(zhuǎn)地融入我們的日常生活。所以，人工智能先驅(qū)者必須要問(wèn)的問(wèn)題是：我們?nèi)绾尾拍茏審?fù)雜的人工智能更環(huán)保？
幸運(yùn)的是，在它所關(guān)注的行業(yè)中，人們?cè)絹?lái)越意識(shí)到這個(gè)問(wèn)題。2021 年初，MLPerf 推出了?MLPerf 功率測(cè)量?——一套新的技術(shù)和指標(biāo)，可補(bǔ)充 AI 流程的性能基準(zhǔn)。這些指標(biāo)的引入為報(bào)告和比較模型和硬件性能建立了一個(gè)急需的標(biāo)準(zhǔn)，同時(shí)還考慮了能耗而不是僅僅跟蹤延遲。
測(cè)量和跟蹤人工智能碳足跡的能力是朝著正確方向邁出的一步，但整個(gè)行業(yè)需要做更多的事情。值得慶幸的是，有些步驟可以很容易地實(shí)施。
工作更聰明，而不是更難
任何希望在氣候變化面前表現(xiàn)出可敬的責(zé)任感的企業(yè)都必須更聰明地了解他們?nèi)绾我约盀槭裁催\(yùn)行他們的人工智能項(xiàng)目。在不影響計(jì)算能力的情況下提高效率的一種方法是簡(jiǎn)單地投資于更節(jié)能的硬件來(lái)部署模型。高通等硬件制造商——他們的新 Cloud AI 100 芯片在設(shè)計(jì)時(shí)考慮到了降低功耗——通過(guò)在設(shè)計(jì)新產(chǎn)品時(shí)考慮能源問(wèn)題，開(kāi)辟了一條有希望的道路。
而隨著 MLPerf 發(fā)布 了另一個(gè) 試圖測(cè)量和比較硬件功率效率的基準(zhǔn)，不乏降低 AI 芯片功耗的重要工作。
更小更環(huán)保
另一個(gè)重要的難題是模型本身——尤其是它們的尺寸和配置。簡(jiǎn)而言之，現(xiàn)在是企業(yè)重新思考越大越好的傳統(tǒng)智慧的時(shí)候了。
在無(wú)影響的真空中，準(zhǔn)確性可以說(shuō)是人工智能計(jì)算最重要的方面。但對(duì)于實(shí)際應(yīng)用，僅靠準(zhǔn)確性不足以成功部署，而且從環(huán)境的角度來(lái)看，不能以犧牲模型效率為代價(jià)。
好消息是，有一些方法可以?xún)?yōu)化深度學(xué)習(xí)模型的核心架構(gòu)，可以在不影響其準(zhǔn)確性的情況下提高性能效率。根據(jù) Deci 在降低計(jì)算能力和模型增強(qiáng)方面的內(nèi)部估計(jì)和經(jīng)驗(yàn)，優(yōu)化核心架構(gòu)有助于將推理所需的計(jì)算功耗降低 50% 到 80% ——對(duì)于希望保持領(lǐng)先地位的企業(yè)來(lái)說(shuō)，這是一個(gè)充滿(mǎn)希望的前景。人工智能游戲，同時(shí)為地球盡自己的一份力量。
從表面上看，有太多行業(yè)的投資回報(bào)率考慮與環(huán)境問(wèn)題不一致——這就是氣候變化的痛苦歷史。幸運(yùn)的是，人工智能不一定是這種情況，效率優(yōu)化是雙贏(yíng)的局面。
需要更少處理能力的更小、更高效的模型運(yùn)行起來(lái)更便宜，而且對(duì)環(huán)境更友好。深度學(xué)習(xí)模型可以在不加劇氣候變化的情況下滿(mǎn)足他們?cè)O(shè)定的所有目的。
下載文檔
