“深度學習+”、“互聯(lián)網(wǎng)+”、“人工智能+”很熱門
提到“深度學習+”,我們自然而然就會想到“互聯(lián)網(wǎng)+”,所謂“互聯(lián)網(wǎng)+”,就是當互聯(lián)網(wǎng)技術(shù)在中國進入全面成熟后,網(wǎng)絡(luò)、終端、平臺全面普及之后,出現(xiàn)了互聯(lián)網(wǎng)與各行業(yè)、社會生產(chǎn)生活的各方面深度融合的全新現(xiàn)象。從而創(chuàng)造了新的發(fā)展生態(tài),涌現(xiàn)了大量發(fā)展機遇。“互聯(lián)網(wǎng)+”,既是互聯(lián)網(wǎng)產(chǎn)業(yè)的轉(zhuǎn)折點,也是中國數(shù)字經(jīng)濟的轉(zhuǎn)折點,創(chuàng)造了一系列經(jīng)濟騰飛的佳話乃至神話。
“深度學習+”的邏輯也可以這樣理解,當深度學習的核心技術(shù)、核心開發(fā)平臺與開發(fā)工具、產(chǎn)業(yè)生態(tài)、應(yīng)用空間全面成熟之后,深度學習技術(shù)可以成為各行業(yè)、社會生產(chǎn)生活各領(lǐng)域能夠全面利用,深度融合的通用性技術(shù)。
從全球AI產(chǎn)業(yè)發(fā)展的角度看,深度學習的這一特性已經(jīng)清晰展露了出來,這項技術(shù)也成為國際頂尖科技公司與全球主要國家都在探索的戰(zhàn)略高地。整體而言,深度學習框架平臺+大模型是目前最具代表性的深度學習發(fā)展方向,也是頂級AI公司的“標準配置”。
早在2015年,谷歌發(fā)布了深度學習框架TensorFlow并很快將其開源,如今已經(jīng)成為谷歌AI生態(tài)的基礎(chǔ)。而從2018年開始,谷歌陸續(xù)發(fā)布了BERT、Muse等大模型,積極探索預(yù)訓練大模型在AIGC、文本對話等領(lǐng)域的可能性。另一家受到全球關(guān)注的科技公司Meta,也積極發(fā)展自身的深度學習框架。2018年,Meta將Caffe2代碼并入PyTorch,推動PyTorch進入了發(fā)展快車道。而在大模型方面,Mate AI實驗室發(fā)布了NLP大模型OPT等一系列成果,推動Meta在深度學習領(lǐng)域保持競爭活力。
從最早的 AlexNet 模型,就是在 AI 分類比賽中讓卷積神經(jīng)網(wǎng)絡(luò)一戰(zhàn)成名,是影響 AI 進程冠軍模型,到 AlphaGo Zero 模型,即打敗韓國圍棋九段棋手李世石的 AlphaGo 增強版,七年里,兩者之間參數(shù)指標增長 30 萬倍。
那些同時期堪稱 " 最大 " 的 AI 訓練模型所使用的計算量,呈指數(shù)型增長,平均 3.4 個月就會倍增,比芯片摩爾定律還要快。
國內(nèi)也是一樣,百度 2016 年用于語音識別的 DeepSpeech 訓練模型的參數(shù)是億級,到了今天的用于繪畫、寫作、聊天的文心大模型中,也有多個模型參數(shù)達到了千億級別。
簡單來說,大模型突出的就是一個 " 力大磚飛 ",讓 AI 的能力在參數(shù)增加到某個階段就突然獲得從量變到質(zhì)變突破性進展。
這種 " 突現(xiàn)能力 " 的具體原因科學家還在研究,可能是代碼、指令上的微調(diào),還可能是 AI 在預(yù)訓練的海量數(shù)據(jù)中偶然學到了類似問題的思維鏈參數(shù)。
似乎只要參數(shù)夠大,一切皆有可能。
如果有一天 AI 像人腦一樣,有百萬億個參數(shù),那 AI 的智能可能真的可以和人類比肩。
但這并沒有那么容易。
面對這么大的參數(shù)量,不管是百度還是谷歌,都認為自然語言處理對整個人工智能的未來都是非常大的挑戰(zhàn)。
因為整個 AI 框架的設(shè)計是否合理,芯片之間如何分配工作量,如何讓更多的芯片滿負荷運作,這些在實際應(yīng)用中是很難同時達到完美狀態(tài)的。
IoT時代,MCU再進化
邊緣端AI的要求與云端不同。邊緣端AI只處理由邊緣產(chǎn)生的數(shù)據(jù),主要面向圖像分析、聲音分析、波形識別等工作。對于終端單一應(yīng)用來說,算力要求不會很高。
但在另一方面,在物聯(lián)網(wǎng)環(huán)境中計算對功耗和成本則更加敏感。
處于邊緣的物聯(lián)網(wǎng)設(shè)備對功耗非常敏感,如傳感器、安防攝像頭等設(shè)備要求長期在線工作,但提供傳統(tǒng)人工智能算力的FPGA或GPU在邊緣端很難滿足這樣的工作要求。
ADI MCU產(chǎn)品線資深業(yè)務(wù)經(jīng)理李勇說:“傳統(tǒng)意義上的AI芯片的特點是算力強但功率和尺寸較大,針對的更多是對計算速度、算力較高的應(yīng)用。如果將FPGA或者GPU用到邊緣端,一是成本受不了,二是沒有辦法用電池進行供電。”
李勇用一個例子形象的解釋了這種需求錯配:終端一個安防攝像頭的工作往往只是拍攝一幅圖片再分析一次,然后再拍衣服圖片并再分析一次,這并不需要很高的算力,反而需要的是能夠滿足長時間待機需求的長續(xù)航。
在邊緣應(yīng)用的新要求下,AI正在尋找新的出路,MCU則是這個問題的一個可能解。
早在上世紀60年代末,MCU產(chǎn)品的雛形就已經(jīng)出現(xiàn)。某種程度上,通用型MCU的廣泛應(yīng)用為上世紀后五十年的電子設(shè)備創(chuàng)新打下了基礎(chǔ)。