拯救拍照手殘黨,告別選擇困難!手機AI還有這么多新奇玩法
最近有一位叫做“喬碧蘿殿下”的神秘女子入侵了多個平臺的熱搜榜,只因為這位粉絲心目中聲音甜美的顏值主播在一次連麥PK大賽中,平時用于遮擋臉的GIF圖戲劇性的沒了。有一位為她刷禮物花費達10萬的男粉,發(fā)現(xiàn)喬碧蘿殿下竟是一位58歲的大媽后,直接注銷了賬號,這一事件迅速成為了關注的焦點。
你是否想過,如果喬碧蘿殿下用的是當下熱門的變臉軟件,結果會如何?
如今,基于AI技術,具備一鍵變明星、一鍵男變女、一鍵步入老年功能的變臉APP非常火爆。比如Snapchat的性別交換濾鏡,不僅能在濾鏡開啟后變換性別,并且濾鏡在不同角度以及各種光線下表現(xiàn)都十分不錯。
Snapchat性別交換濾鏡
不過,Snapchat的實時視頻變臉并非所有手機都支持,因為這一功能的實現(xiàn)一方面需要手機有較強的硬件性能;另一方面,對于網(wǎng)絡的要求也很高,要依靠云端訓練和效果實施。這不僅帶來了隱私問題,還限制了有趣AI應用的普及。
但情況正在改變,隨著手機處理器性能的提高,特別是AI性能的增強,手機AI不僅能拯救拍照手殘黨,改變購物方式,還會改變你的生活方式。
嘈雜環(huán)境也能清晰通話
手機最重要也是最基礎的功能無疑是通信,隨著通信技術的發(fā)展,手機通話質量越來越高,但嘈雜環(huán)境打電話聽不清楚的問題一直沒有被解決。目前,部分手機增加了通話降噪功能,比如中興、努比亞等。據(jù)了解,這些手機中的通話降噪的算法來自大象聲科(ELEVOC),算法基于計算聽覺場景分析理論,應用深度學習技術。
而其中很重要的一點是,通話降噪的算法有了高通人工智能引擎AI Engine的支持,能夠實時分離手機通話中的人聲和背景噪聲,使用者不論身處多么嘈雜的環(huán)境打電話,對方聽到的始終是你清晰自然的聲音。
AI通話降噪
通話降噪的應用當然不局限于語音通話,高通與大象聲科合作,在Skype視頻和語音通話中可以從呼叫方噪聲的背景中精確提取使用者的聲音,并且,這個功能只用一個麥克風就能實現(xiàn)比多個麥克風更加精確的噪聲抑制。
有了AI通話降噪功能,以后無論是在體育賽事現(xiàn)場、音樂節(jié)還是家庭聚會,都可以獲得高質量的通話,再也無懼嘈雜的環(huán)境。
拯救拍照手殘黨
對于部分人而言,語音和視頻通話是低頻使用功能,手機的拍照卻極為重要。但是,不少人因為手機硬件本身或拍照技術等問題,總會拍出一些模糊甚至扭曲的照片。比如拍食物的時候,很多人都遇到過把壽司拍模糊的情況,想拍一張滿意的照片需要耗費不少時間。
SensePhoto超分辨率
現(xiàn)在,AI可以拯救拍照手殘黨。SensePhoto超分辨率功能可以對標光學(物理)變焦鏡頭,用AI算法實現(xiàn)比肩光學變焦鏡頭的畫質清晰度,這個功能來自高通的合作伙伴商湯科技。
要拍出高清晰度的照片,夜晚的難度顯然更大,AI也可以讓夜間拍出好照片更容易。下圖的對比就非常直觀,AI超級夜景功能能夠進行智能降噪以及防抖,結合傳統(tǒng)的計算機視覺和深度神經(jīng)網(wǎng)絡算法,可以讓用戶通過手持手機的方式或腳架模式(腳架效果更佳)以較長的曝光模式拍攝出細節(jié)更多、極致的超級夜景影像,這個技術來自高通的AI合作伙伴虹軟。
AI超級夜景功能
高通的另一個AI合作伙伴曠視也有超畫質功能,通過對原始圖像進行處理,全新的超畫質(Super IQ)技術能夠更好地降低圖片噪聲、保留畫面細節(jié),優(yōu)化拍攝和影像處理的時間。
手機拍照不僅追求更高畫質,還在追求接近單反相機的效果。因此,如今手機攝像頭都是兩個甚至五個,再匹配強勁的AI處理器能力和不錯的AI算法,能夠實現(xiàn)接近單反的效果。比如NALBI的圖像AI深度技術,能將數(shù)碼單反相機的虛化效果應用于任何圖片,即使是來源于網(wǎng)絡甚至其它設備的照片。
通過動圖可以看到,原始圖人像在焦點之外,通過簡單的操作就改變了這張圖片的焦點,讓照片的焦點變?yōu)榱巳宋铩?/p>
在多人合照的照片中,借助AI技術也能夠輕松改變焦點。
拍攝食物的時候,AI也能拯救一張照片焦點不在食物上的照片。
需要明白,以上這些功能的實現(xiàn)都是AI算法與AI硬件深度融合的結果。不同公司的AI算法各有特色,但它們都能在靈活且高性能的高通AI Engine的支持下,實現(xiàn)令人滿意的效果,特別是針對AI Engine優(yōu)化的算法。
AI算法和AI Engine的深度融合不僅能拯救拍照手殘黨,讓手機拍照的質量更好,還能讓拍照變得更加有趣。比如,虹軟的AI智能美顏拍照、智能人體塑形、智能人像光影拍照。曠視還首次基于旗艦驍龍855移動平臺,創(chuàng)新性地在手機上實現(xiàn)了希區(qū)柯克變焦(DollyZoom),通過智能一鍵單擊,使人像的大小和位置保持不變,但背景不斷變化。商湯科技基于單目攝像頭實現(xiàn)實時的人像留色的SensePhotoAI技術。
視頻的實時處理對手機處理器有著非常高的要求,曠視在搭載驍龍855移動平臺的手機上,利用AI算法模擬的深度圖像來模擬光學失焦的算法實現(xiàn)了AI實時視頻虛化技術。虹軟也推出了AI 智能雙攝視頻虛化功能,針對多攝像頭手機,可以在拍攝視頻時即時更改焦點區(qū)域,產(chǎn)生出色的景深效果與前后景虛化體驗。
不一樣的AI游戲體驗
除了最受歡迎的AI拍照,手游也廣受歡迎。報告顯示,2018年中國移動游戲用戶規(guī)模為6.05億人,同比增長9.2%。2018年中國移動游戲市場實際銷售收入占全球移動游戲市場比例約為30.8%。那AI和手機游戲能碰撞出什么火花?
本月初,在2019 ChinaJoy的高通驍龍主題館開館儀式上,《王者榮耀》的頂尖選手與AI 電競戰(zhàn)隊——“SUPEX”進行了一場1v1對戰(zhàn),最終,AI 電競戰(zhàn)隊一舉贏得比賽。這是SUPEX的移動AI電競首秀,也是iQOO聯(lián)合王者榮耀、騰訊 AI Lab 、高通驍龍為探索終端側AI性能而創(chuàng)建的“想象力工程”項目首次嘗試,將移動游戲的AI推理能力首次大規(guī)模從云端遷移至終端 iQOO 產(chǎn)品上。四方的合作充分利用第四代高通人工智能引擎AI Engine的強大異構計算能力,為手機端帶來不一樣的游戲體驗。
AI不僅能與玩家進行游戲對戰(zhàn),還帶來了新游戲。比如SensePosture的人體骨架檢測(3D)技術,通過RGB和深度數(shù)據(jù)的輸入,可以檢測到3D的人體骨骼關鍵點和人體輪廓深度圖,并支持實時跟蹤,可以進行體感游戲、體感交互等。同樣是高通AI合作伙伴的華捷艾米推出3D玩偶功能,在高通人工智能引擎AI Engine的支持下,用戶可以操控虛擬人偶、明星模型或卡通玩偶,和被拍攝者做同樣的動作,并錄制短視頻或者拍照。
告別選擇困難,探索更多手機AI玩法
手機購物相信也是許多人離不開的應用,如今,AI能夠讓你告別選擇困難。比如當你想換發(fā)型或者換新發(fā)色的時候,利用實時分段算法,基于高通人工智能引擎AI Engine的異構調度,在手機上就可以展現(xiàn)出新發(fā)色的效果,并且可以跟隨光變的變化而變化,每秒30幀的精度可以讓你迅速選擇出合適自己的發(fā)色,輕松告別選擇困難,這一功能同樣來自Nalbi。
AI還能讓在線購物變得更有趣,曠視的3D實時人體姿態(tài)追蹤功能可用于體感游戲、3D試衣等對三維空間動作要求高的場景,曠視基于驍龍730移動平臺結合自家的深度算法(普通2D攝像頭即可)實現(xiàn)了非常好的效果,這也是高通AI Engine實力的體現(xiàn)。
AI也在改變手機購物的支付方式,曠視聯(lián)合 vivo 基于 TOF 技術和人臉識別算法打造了世界首款基于ToF前置的FaceID,搭載驍龍845移動平臺的vivo 手機,在曠視三個核心算法模型結構加持下,可實現(xiàn) 0.1s 內極速識別,0.03s 重建和達百萬分之一的支付精度,可以用人臉替代指紋、密碼或 PIN 碼作為移動支付的主要驗證方式。
高通的合作伙伴們基于強大且靈活的AI Engine打造了更多有趣的手機AI應用。Loom.ai從單張照片中創(chuàng)建具有個人風格的、個性化的3D人偶。用戶可以編輯面部特征、發(fā)型和其他配飾,并且沉浸在AR、VR、游戲或3D應用中。
中科創(chuàng)達結合TurboX智能大腦平臺以及AI Engine,實現(xiàn)了人聲音色的實時變換,能夠保持原聲的音調、頓句甚至情緒,可以應用于影視動畫制作,降低配音門檻。
AI還會改變學習的方式,有道利用AI Engine,通過有道智能筆與智能作業(yè)本組合,在不改變學生傳統(tǒng)書寫答題習慣的情況下,收集學生答題書寫筆跡數(shù)據(jù),并通過手寫OCR技術識別筆跡內容,對書寫的答案自動批改。同時,還可以根據(jù)學生答題數(shù)據(jù),做個性化試題推送與練習。
這些有趣的AI應用觸手可及,在百度的全民小視頻APP中,通過整合AI Engine,有效釋放移動設備計算效能,全面升級AR肢體能力,可以實現(xiàn)更多的特效,帶來豐富的視頻玩法。
手機AI新奇玩法是AI軟硬實力的展現(xiàn)
無論拍照、游戲、購物在AI時代的新玩法,還是因為終端AI性能的提升帶來的有新奇應用,最為重要的還是軟件和硬件的結合。AI算法多樣,并且在不斷迭代,只有算力強、并且兼具靈活性和功耗優(yōu)勢的手機SoC才能支撐AI應用的普及和創(chuàng)新。
AI近幾年備受關注,但高通在AI的基礎科技研發(fā)早在十多年前就已經(jīng)開始,特別是在深度學習、神經(jīng)計算和豐富的AI算法等領域。從四年前的驍龍820開始,高通就已經(jīng)在驍龍移動平臺上實現(xiàn)了第一代人工智能引擎AI Engine的商用。
最新的旗艦移動平臺驍龍855集成了高通第四代多核人工智能引擎AI Engine。與前幾代AI Engine的理念相同,第四代AI Engine充分利用驍龍的異構多核可編程架構,對每個內核進行大幅優(yōu)化和提升,強調整體芯片面向AI計算的高效率和靈活性。第四代AI Engine包括Hexagon 690處理器、Adreno 640 GPU和Kryo 485 CPU。
值得注意的是,在驍龍855上,Hexagon進化為更通用、更加強大的系統(tǒng)。不僅 DSP的功能得到擴展,更是新增了獨立的AI硬件核心HTA (Hexagon張量加速器),以綜合實現(xiàn)可編程的AI加速。
此外,第四代高通人工智能引擎AI Engine軟件套件可以為高通神經(jīng)處理SDK、Google Android NN-API以及Hexagon NN和Qualcomm Math Library帶來一系列的提升。
如今,利用第四代高通人工智能引擎AI Engine的AI軟件合作伙伴正在多個領域不斷拓展,為OEM廠商提供了支持下一代終端側AI特性的更多預優(yōu)化算法。AI Engine還能讓AI帶來更多的變革,比如汽車行業(yè)、工業(yè)、物流和零售等。記者
你希望AI帶來哪些新奇玩法?手機AI+5G又會有哪些應用?記者(公眾號:記者)記者