不用買 iPhone，普通手機(jī)也能玩“Animoji”

記者消息，7 月 4 號，微軟官方發(fā)布消息，測試版的 SwiftKey（記者按：2016 年，SwiftKey 被微軟收購）中加入了新功能 Puppets，這個(gè)新功能提供了熊貓、恐龍、貓頭鷹等多個(gè)動(dòng)物的 3D 形象，還能夠通過 AI 技術(shù)來實(shí)時(shí)反映用戶的表情和頭部動(dòng)態(tài)。

盡管 3D 表情近幾年開始席卷全球，但值得一提的是，人們關(guān)于創(chuàng)建 3D 動(dòng)態(tài)形象的想法，早在十幾年前就已經(jīng)生根發(fā)芽了。

從好萊塢大片中得到的靈感

2005 年左右，運(yùn)動(dòng)追蹤技術(shù)還遠(yuǎn)未達(dá)到成熟階段，即便是在 2009 年上映的《阿凡達(dá)》，也需要演員提前在臉上標(biāo)記特定的小點(diǎn)，穿上帶有特制小球的衣服，幫助光學(xué)系統(tǒng)追蹤人臉和身體的動(dòng)作變化，最終精準(zhǔn)地捕捉到人物角色的表情和動(dòng)作。

記者注：上圖為《阿凡達(dá)》劇照

Faceshift 公司（記者注：Faceshift 是一家人臉追蹤技術(shù)公司，2015 年被蘋果公司收購）的聯(lián)合創(chuàng)始人之一 Mark Pauly 表示：

為演員的臉部標(biāo)點(diǎn)是一個(gè)很不錯(cuò)的想法，因?yàn)檫@樣可以幫助簡化運(yùn)動(dòng)追蹤的計(jì)算量。但這需要大量的設(shè)備，還需要花費(fèi)大量的時(shí)間成本。

Mark Pauly 和其他研究者開始尋求新的方法——開始探索如何使用深度感應(yīng)相機(jī)和算法來取代傳統(tǒng)的方法，使面部表情追蹤變得更簡單。而他們的最終目標(biāo)是制作出可以實(shí)時(shí)模仿人類表情的動(dòng)態(tài)數(shù)字形象。

由于人臉總是持續(xù)變化，因此，為了讓機(jī)器可以準(zhǔn)確識別出面部運(yùn)動(dòng)，必須讓它識別出在不同環(huán)境或狀態(tài)下的人臉，比如變幻的光線，頭部的旋轉(zhuǎn)角度，人臉的膚色等。接下來就是不斷地訓(xùn)練算法來處理這些面部數(shù)據(jù)信息，然后建立大量的 3D 模型，形成模擬形象。

人臉追蹤技術(shù)從電影走向手機(jī)

在 2013 年開始，蘋果就陸續(xù)收購了 3D 傳感器制造商 PrimeSense、圖像識別公司 ?Perceptio、增強(qiáng)現(xiàn)實(shí)公司 Metaio 和 人臉追蹤技術(shù)公司 Faceshift。從現(xiàn)在看來，這波瘋狂收購的背后，很大一部分原因是蘋果在為推出 iPhone X 做準(zhǔn)備。

2017 年 9 月，蘋果推出了 iPhone X，從外形上來看，除了經(jīng)典 Home 鍵的消失，屏幕頂部還出現(xiàn)了一塊“劉?！眳^(qū)域。

在這塊神秘的黑色劉海之下，內(nèi)置了麥克風(fēng)、揚(yáng)聲器、前置攝像頭，以及包括環(huán)境光傳感器、距離感應(yīng)器、紅外鏡頭、泛光感應(yīng)元件、點(diǎn)陣投影器在內(nèi)的 5 種感應(yīng)器。這 5 種感應(yīng)器組成了原深感攝像頭系統(tǒng)（True Depth Camera ?System），它可以捕捉并分析用戶的面部 3D 結(jié)構(gòu)特征，類似 3D 建模一樣，然后再通過蘋果神經(jīng)引擎（A11 Bionic Neural Engine）即時(shí)處理識別數(shù)據(jù)。

基于原深感攝像頭和神經(jīng)網(wǎng)絡(luò)的支持，3D 版的 Emoji——Animoji 就這樣應(yīng)運(yùn)而生了；用戶可以在使用 iMessage 時(shí)開啟 Animoji 錄制一段不超過 10 秒的小視頻，而 3D 動(dòng)畫形象會同步用戶的表情，而且這個(gè)功能還支持錄音。

雖然，Animoji 只是作為 iMessage 的一個(gè)功能出現(xiàn)，但從 3D 動(dòng)畫表情創(chuàng)新的層面上來說，Animoji 可以算得上是開山之作，它讓好萊塢大片中的 3D 人臉追蹤技術(shù)走向了手機(jī)。

在蘋果開始采用 3D 結(jié)構(gòu)光技術(shù)來支持人臉識別和 Animoji 之后，三星、華為、小米等手機(jī)廠商也在不斷努力之后，實(shí)現(xiàn)了這一技術(shù)，并打造了屬于自己的“Animoji”，甚至逐漸擺脫了對原深感攝像頭的依賴。

基于深度神經(jīng)系統(tǒng)的 Puppets

與蘋果 Animoji 不同的是，微軟 3D 動(dòng)畫表情 Puppets 的載體不在于系統(tǒng)內(nèi)的短信（iMessage），而是在于第三方軟件 SwiftKey；這款個(gè)性化輸入法基于先進(jìn)流利的預(yù)言推理引擎，能夠進(jìn)行十分快速的輸入操作——微軟預(yù)計(jì)，SwiftKey 每周可以節(jié)約總計(jì) 2000 萬個(gè)小時(shí)的打字時(shí)間。

除此之外，Puppets 最大的不同在于，蘋果 Animoji，以及其他許多 3D 動(dòng)態(tài)表情都需要原深感攝像頭的支持，從而掃描人臉的 3D 結(jié)構(gòu)圖來建模，而 Puppets 僅用普通攝像頭也能塑造出實(shí)時(shí) 3D 動(dòng)態(tài)表情。這是因?yàn)?Puppets 的運(yùn)作原理基于一個(gè)由志愿者提供圖片和視頻集成的龐大數(shù)據(jù)庫，微軟通過這個(gè)數(shù)據(jù)庫來訓(xùn)練自己的深度神經(jīng)網(wǎng)絡(luò)，從而識別用戶的表情，比如微笑和眨眼，直接進(jìn)行模仿。

用戶可以通過 Puppets 錄制長達(dá) 30 秒的視頻，視頻會實(shí)時(shí)轉(zhuǎn)化為 3D 動(dòng)態(tài)形象，這些小視頻還可以分享到社交媒體或其他平臺上。

微軟產(chǎn)品經(jīng)理 Deepak Paramanand 表示：

我們希望 SwiftKey 用戶在與家人朋友溝通時(shí)，除了預(yù)先設(shè)置的 GIF 動(dòng)圖之外，還能有更多的選擇，因此我們創(chuàng)建了 Puppets。人們希望快速打字，SwiftKey 能夠滿足這一點(diǎn)；人們也希望以有趣的方式來表達(dá)自己，這一點(diǎn) SwiftKey 現(xiàn)在也能做到了。

記者小結(jié)

從應(yīng)用在 3D 電影中的人臉追蹤技術(shù)，到蘋果開先河的 3D 動(dòng)畫表情 Animoji，再到微軟的 Puppets，這些技術(shù)和產(chǎn)品或許有其不足之處，但至少可以清楚地看到它們在隨著迭代而成長。

值得一提的是，目前推出的 Puppets 還只是測試版，而且僅限于 Android 手機(jī)；更多關(guān)于 Puppets 的動(dòng)態(tài)，記者(公眾號：記者)將會繼續(xù)關(guān)注。