他創(chuàng)造了計(jì)算攝影:最佳智能手機(jī)相機(jī)——DxOMark
2016 年的智能手機(jī)市場(chǎng),每一家都在摩拳擦掌,準(zhǔn)備大展身手,但任誰(shuí)都想不到是,那一年手機(jī)拍攝領(lǐng)域最亮眼的既不是 iPhone 也不是三星,而是 Google 自研的 Pixel。迄今為止我們測(cè)試過(guò)的最佳智能手機(jī)相機(jī)——DxOMark
之后 Pixel 2 推出時(shí),同樣的情況再次上演,只用單攝的 Pixel 2 超越了同期大量雙攝旗艦,登頂 DxOMark,還帶來(lái)了人像模式。此后的 Pixel 系列也一直維持同樣的策略,它的相機(jī)物理硬件并非最強(qiáng),但在手機(jī)攝影領(lǐng)域卻有著不俗的表現(xiàn),Pixel 3 帶來(lái)了夜景模式、Pixel 4 帶來(lái)了天文攝影。
Marc Levoy 作為 Pixel 相機(jī)團(tuán)隊(duì)的首席工程師,正是幕后推動(dòng)這一切的主要推手,用現(xiàn)在流行的話來(lái)說(shuō),Marc Levoy 用計(jì)算攝影,改變了潮水的方向。
與 Google 相遇
Levoy 原本就是一位攝影愛(ài)好者,在他的個(gè)人網(wǎng)站上還能看到不少他拍攝的照片。而他和 Google 的相遇則要從斯坦福大學(xué)說(shuō)起。1990 年,Levoy 進(jìn)入斯坦福大學(xué)計(jì)算機(jī)科學(xué)系,主要教授計(jì)算機(jī)圖形學(xué)、數(shù)碼攝影、藝術(shù)科學(xué)等課程。
▲ Marc Levoy
1993 年,Levoy 借了一些磁盤(pán)驅(qū)動(dòng)器給博士生 David Filo 和 Jerry Yang,他們用磁盤(pán)等工具建立了一個(gè)互聯(lián)網(wǎng)目錄網(wǎng)站,這個(gè)網(wǎng)站之后被稱(chēng)為 Yahoo。同為博士研究生的拉里?佩奇(Larry Page)和謝爾蓋?布林(Sergey Brin)則在離 Levoy 辦公室兩扇門(mén)遠(yuǎn)的地方研究互聯(lián)網(wǎng)索引,后來(lái)他們創(chuàng)立了一個(gè)搜索網(wǎng)站——Google。
▲ Google 創(chuàng)始人拉里?佩奇和謝爾蓋?布林
拉里?佩奇和 Levoy 的研究生公用一個(gè)辦公室,而謝爾蓋?布林則是 Levoy 的計(jì)算機(jī)圖形課上的學(xué)生。在斯坦福,Levoy 幾乎是目睹了互聯(lián)網(wǎng)的崛起,而由于他和 Google 創(chuàng)始人的師生關(guān)系,漸漸與 Google 有了越來(lái)越多的聯(lián)系。
拉里?佩奇和謝爾蓋?布林離開(kāi)斯坦福創(chuàng)立 Google 后,很快投資了一個(gè)由 Levoy 主導(dǎo)的研究項(xiàng)目 CityBlock ,通過(guò)拍攝視頻并將其復(fù)制到圖片中,再通過(guò)計(jì)算處理等方式復(fù)原實(shí)際場(chǎng)景,也就是后來(lái)被 Google 商業(yè)化的 Google 街景項(xiàng)目。
Levoy 在計(jì)算攝影領(lǐng)域上的深厚造詣令 Google 團(tuán)隊(duì)十分欽佩,以至于 Google X 實(shí)驗(yàn)室遇到問(wèn)題時(shí)第一時(shí)間想到了這位斯坦福教師。當(dāng)時(shí) Google X 正在研究一個(gè)名為 Google Glass 的產(chǎn)品,旨在推出一款可穿戴的‘計(jì)算機(jī)’,而這臺(tái)計(jì)算機(jī)將以眼鏡的形式出現(xiàn)。
據(jù) Google X 實(shí)驗(yàn)室發(fā)布的博客,由于 Google X 選擇了眼鏡這種可穿戴式的產(chǎn)品形態(tài),對(duì)硬件的要求極高,就算是手機(jī)中常見(jiàn)的微縮型相機(jī)硬件模組,應(yīng)用到 Google Glass 上還要保持較好的拍攝效果,也并非一件簡(jiǎn)單的事。
▲ 早期的 Google Glass 原型
既然通過(guò)硬件實(shí)現(xiàn)很難、或者說(shuō)幾乎不可能,是不是應(yīng)該換一種思路,用軟件來(lái)解決呢。就這樣,Google X 找到了計(jì)算攝影領(lǐng)域的專(zhuān)家 Levoy 幫忙一起解決這個(gè)問(wèn)題。
最終 Levoy 和 Google X 團(tuán)隊(duì)研究出了一種名為 HDR 成像的算法,即快速拍攝多張圖片,并通過(guò)計(jì)算處理合成出高質(zhì)量的圖片。多張合成的方式可以更好的渲染暗部細(xì)節(jié),同時(shí)又能保證高光處保持更高的清晰度。
與 Google X 合作期間,Levoy 自己還制作了一個(gè) App——SynthCam,同樣是通過(guò)合成計(jì)算的方式,讓使用微縮相機(jī)模塊的手機(jī)也能模擬單反,實(shí)現(xiàn)拍攝主體之外內(nèi)容逐漸模糊的效果。
▲ Levoy 用自制軟件 SynthCam 拍攝的圖片
盡管以現(xiàn)在的眼光來(lái)看,效果并不算特別好,但在當(dāng)時(shí)已經(jīng)是手機(jī)攝影領(lǐng)域的一次新突破了。
對(duì)于計(jì)算攝影極強(qiáng)的興趣,也促進(jìn)了 Levoy 從斯坦福退休后加入 Google 。
Pixel 系列,計(jì)算攝影的新起點(diǎn)
2014 年,Marc Levoy 從斯坦福退休,進(jìn)入 Google 成為全職員工,并擔(dān)任了 Google 內(nèi)部最具影響力的部門(mén)之一 Google Research 的領(lǐng)導(dǎo)人,主要負(fù)責(zé)研究計(jì)算攝影領(lǐng)域相關(guān)的事項(xiàng)。
在和 Google X 實(shí)驗(yàn)室合作時(shí),Levoy 就意識(shí)到了 HDR 算法能應(yīng)用在智能手機(jī)上,畢竟 Google Glass 和智能手機(jī)都是移動(dòng)終端,便攜性是優(yōu)勢(shì)。