3月4日，F(xiàn)acebook AI 發(fā)布博客，表示通過神經(jīng)網(wǎng)絡訓練，現(xiàn)在 Facebook 已經(jīng)可以將普通單攝手機拍攝的 2D 照片，轉化成具有 3D 效果的圖片。新功能需要新玩法，兩年前，F(xiàn)acebook 推出了 3D 照片的新功能，正是通過雙攝手機的‘肖像模式’，讓 2D 照片出現(xiàn)‘部分 3D’的效果。遺憾的是，當時擁有雙攝旗艦機的人還是少數(shù)的。除了用戶在手機頁面停留更長時間，‘3D 照片’功能背后的積累，可以落地在更多場景，例如 AR 場景以及無人駕駛。鑒于 Facebook 對于 VR 的野心依舊，這項新功能將如何實現(xiàn)扎克伯格‘10 億人共 VR’的夢想，也令人頗為期待。
2D 照片如何變 3D
同樣是 3D 照片，兩年時間有什么不一樣的?答案是，深度信息。2018 年的 3D 照片功能要依賴當時手機雙攝‘肖像模式’帶來的深度信息，而現(xiàn)在 Facebook AI 可以直接將任何時候拍攝的 2D 照片轉化出 3D 效果，不需要深度信息。
拋開深度信息來制造 3D 效果的照片，需要面對兩個挑戰(zhàn)，一個是訓練模型來推測各種物體的 3D 位置，另一個是優(yōu)化系統(tǒng)來讓各種移動設備都能在短時間內將功能跑起來。為此，團隊使用卷積神經(jīng)網(wǎng)絡(CNN)訓練了數(shù)百萬對的 3D 照片以及對應的深度信息;同時，利用 Facebook AI 團隊之前的開發(fā) FBNet 和 ChamNet 的優(yōu)化方式，來將功能推廣到更多的設備上。
通過這個方式，給出任意一張標準的 RGB 圖像，卷積神經(jīng)網(wǎng)絡可以估算出任一像素到攝像頭的距離。目前，iPhone 7 及之后的設備，都可以使用 3D 照片功能。
在攻克 2D 照片的深度信息預測算法之后，F(xiàn)acebook AI 團隊表示正在嘗試將實驗擴大到視頻范圍，后者的挑戰(zhàn)在于每一幀畫面的深度必須與前后幀的保持一致，同時好消息是，由于視頻通常有同一物體的不同視角，能夠用來提供更精確的深度信息預測。而這些嘗試將讓團隊強化算法在深度、物體表面以及空間方面的推測能力，并最終將其使用到實時場景之中，例如手機端的 AR 應用上。
如果通過這些方式，能讓機器更好的理解立體的現(xiàn)實環(huán)境，也會對無人駕駛車輛或者無人機的導航提供幫助。
YouTube 和 3D 民主化
十五年前的 2005 年，YouTube 的三位創(chuàng)始人創(chuàng)立這個平臺的時候，最開始的想法是做成視頻相親網(wǎng)站，很難說當時如果他們堅持那個方向，是不是還會變成現(xiàn)在這個視頻界的谷歌。當時數(shù)碼設備尚未流行，員工經(jīng)常需要跑到用戶家里去取用戶想要上傳的視頻的光盤，拿回到公司幫忙上傳，可想而知平臺前幾年發(fā)展有多艱難。如果沒有后來智能手機的爆發(fā)，估計也不會有現(xiàn)在的 YouTube 了。
從 2014 年收購 Oculus，F(xiàn)acebook 在 VR 上下了重注，但是行業(yè)發(fā)展顯然沒有扎克伯格當時簽支票時預料的那么快。視頻 3D 效果的創(chuàng)意，其實早在幾年前 Facebook 360 視頻團隊就曾經(jīng)嘗試過，由于 Facebook 360 項目最終停滯，相關的內容也難以見到了。
這折射了 VR 和 AR 行業(yè)發(fā)展的一個瓶頸，如果普通用戶無法用手機便捷的創(chuàng)建 3D 內容，那么他們可能不會對 VR 或者 AR 產(chǎn)生太大的興趣。雖然收購了一家又一家 VR 游戲公司，但是用 PGC 的方式生產(chǎn) VR 內容，畢竟速度和數(shù)量都和視頻的 UGC 不在一個數(shù)量級上。
另一個對 VR 和 AR 抱以厚望的巨頭谷歌，曾經(jīng)收購過 VR 第一個熱門應用 Tilt Brush，后者堪稱是 VR 時代的‘畫圖板’。該應用曾經(jīng)吸引了不少國際知名藝術家，在 VR 中揮毫潑墨，吸引了普通用戶。但是問題還在于，Tilt Brush 還是需要戴上 VR 頭顯才能使用，依然有局限性。
帶來可能解決方案的，反而是一直悶聲積累 AR 實力的蘋果公司，后者在 iPhone X 上使用了前置 3D 攝像頭模組，用戶不僅可以利用其解鎖手機，同時還能創(chuàng)建一個模仿自己臉部動態(tài)的 3D 動畫形象。不過，蘋果對于 iPhone‘齊劉?！?3D 攝像頭功能控制的很嚴，無法任意使用，好在 Android 手機廠商隨后跟進，將前置 3D 攝像頭變成標配。曾經(jīng)有人用小米手機的前置 3D 攝像頭，掃描出物體的大致 3D 模型。
如果喬布斯看到最新的 iPhone 11 Pro 后面的三顆吐出來的‘浴霸’造型攝像頭，不知道會作何感想。當然，不管‘喬幫主’可能會怎么看，攝像頭個數(shù)代表手機檔次，已經(jīng)成為一個潛規(guī)則。雖然犧牲了部分造型，但確實給手機帶來了新的功能，例如獲得深度信息，這也是為什么出現(xiàn)了 iPhone 擁有雙攝之后，出現(xiàn)了能夠虛化背景的‘肖像模式’。
下載文檔
