基于 FaceForensics 數(shù)據(jù)庫微軟研發(fā)換臉鑒別算法

此前DeepFake換臉在全球引發(fā)軒然大波。從生成足以以假亂真的名人不雅視頻開始，很多使用者將這個“換臉神器”當成了視頻造假工具，并通過社交網(wǎng)絡將虛假信息傳播到全世界。

目前，最常被使用的 AI 換臉算法有三種：DeepFake、FaceSwap 和 Face2Face。其中，DeepFake 基于大家所熟知的 GAN 技術，對于它所生成的臉，人類的識別率大約為 75%。FaceSwap 是一個學習重建臉部特征的深度學習算法，可以對給出的圖片進行模型替換，人類對于此類換臉的識別率也是 75%左右。Face2Face 則是用其他真實的人臉去替換原本的人臉，不涉及人臉的生成，對于它制造的臉，人類的識別率只有 41%。作為目前學術界最大的合成視頻數(shù)據(jù)庫之一，由慕尼黑技術大學創(chuàng)建的 FaceForensics 數(shù)據(jù)庫涵蓋了經(jīng)過以上三種換臉算法編輯的公開視頻，以供學術研究使用。

多年來，微軟亞洲研究院在人臉識別、圖像生成等方向都擁有業(yè)界領先的算法和模型。在 CVPR 2018 上，微軟亞洲研究院視覺計算組發(fā)表了論文“Towards Open-Set Identity Preserving Face Synthesis”，其中的技術能夠利用開放數(shù)據(jù)集中的數(shù)據(jù)，逼真地合成保留圖中人臉身份信息的圖像。深厚的技術積累讓研究員們對“進攻方”的技術原理有著更深刻的理解，進而能夠更有針對性地研發(fā)換臉鑒別算法。

因此，微軟亞洲研究院研發(fā)的換臉鑒別算法，基于 FaceForensics 數(shù)據(jù)庫的測試結(jié)果均超越了人類肉眼的識別率以及此前業(yè)界的最好水平*：對于 DeepFake 的識別率達到了 99.87%，對于 FaceSwap 的識別率為 99.66%，對于 Face2Face 的識別率為 99.67%。

更重要的是，一般的換臉鑒別方案需要針對每一種換臉算法研發(fā)專門的換臉鑒別模型，想要鑒別一張圖像的真?zhèn)?，需要逐個嘗試所有模型。微軟亞洲研究院的算法則可以用一個通用模型，去鑒別不同類型的換臉算法所制造的臉。與此同時，研究員還對人臉合成時難以處理的細節(jié)進行檢查，如眼鏡、牙齒、頭發(fā)邊緣、臉部輪廓，將它們作為算法關注的重點，從而提高識別準確率。相比其他同類技術，來自微軟亞洲研究院的換臉鑒別算法很好地解決了應對動態(tài)幅度大、有遮擋、有表情變化的圖像的難題。

除了準確識別已知算法合成的圖像，換臉鑒別的另一大挑戰(zhàn)是應對尚未出現(xiàn)的新算法。將現(xiàn)有的換臉鑒別算法直接用于新算法時，它們的有效性往往會顯著下降。為此，微軟亞洲研究院提出了一種通用換臉鑒別方法。為了更好地考察這一算法對未知換臉算法的鑒別能力，研究團隊用真實圖像對模型進行了訓練，再讓其辨別多種未知換臉算法生成的圖像。實驗結(jié)果表明，與基線算法相比，新算法對各類換臉算法的識別率均有大幅提升。隨著研究團隊對模型的進一步優(yōu)化，通用鑒別模型一定能越來越精確地幫助我們應對新算法所帶來的問題和挑戰(zhàn)。

在微軟看來，要構(gòu)建可信賴的 AI，必須遵循以下六大原則：公平、可靠和安全、隱私、包容、透明、責任。微軟內(nèi)部還成立了人工智能倫理道德委員會(AETHER)，幫助微軟應對 AI 帶來的倫理和社會影響。

大約30%經(jīng)過AI換臉的合成照片、合成視頻是人類僅憑肉眼無法識別的，很容易被當作真實信息進行再次傳播。這已成為一個亟待解決的社會性問題，面對這個問題，我們應該怎么做?