新一代圖片處理技術(shù)讓富士 X-Trans傳感器如虎添翼
X-Trans 相機(jī)與市場上的其他相機(jī)有何不同，機(jī)器學(xué)習(xí)又是如何顛覆 raw 文件的處理方式的?DxO首席科學(xué)家 Wolf Hauser 探討了 X-Trans 的優(yōu)缺點，以及 DxO 用于顯著提高圖像質(zhì)量的處理方法。
富士公司向來不憚于另辟新徑，他們在 2012 年推出了 X-Trans 傳感器。 鑒于整個相機(jī)行業(yè)幾乎都在使用拜耳傳感器，這可謂一個大膽的舉措。在過去的十年里，關(guān)于 X-Trans 的激烈討論不絕于耳，它能否為攝影師帶來切實的好處，或者僅僅是一個精心設(shè)計的營銷技巧? 正如接下來將探討的，X-Trans 兼有優(yōu)缺點，而用于解讀該傳感器 raw 數(shù)據(jù)的算法對于獲取理想結(jié)果至關(guān)重要。 富士相機(jī)的粉絲長期以來一直在尋找一款最優(yōu)秀的軟件來處理他們的圖像，DxO PhotoLab 5 和 DxO PureRAW 2 現(xiàn)支持對 X-Trans raw 文件的處理，讓富士相機(jī)拍攝的清晰圖像呈現(xiàn)出色的細(xì)節(jié)。
拜耳還是 X-Trans，百事可樂還是可口可樂?
您可能已經(jīng)注意到，討論相機(jī)技術(shù)的微小細(xì)節(jié)會一石激起千層浪，自 X-Trans 推出以來，留言板和社交媒體上關(guān)于 X-Trans 優(yōu)缺點的辯論便如火如荼。 然而，濾色器陣列只是用于定義相機(jī)的眾多功能中的一個，鮮有客戶在購買相機(jī)時將其放在首位。 使用富士相機(jī)的攝影師喜愛其相機(jī)的獨(dú)特外觀和質(zhì)感，享受其人體工學(xué)設(shè)計和易用性，更不用說相機(jī)直出的驚艷效果。 富士的工程師是色彩方面的專家，擁有 70 多年的彩色攝影經(jīng)驗，品牌愛好者深愛富士依托公司悠久的膠片生產(chǎn)歷史打造出的膠片模擬效果。
Astia 和 Velvia 等名稱也為他們的相機(jī)賦予一種逼真感。
拜耳與 X-Trans 的爭論與 ARM 處理器與英特爾設(shè)計的處理器之間上演的對決十分相似。 蘋果的營銷部門聲稱他們的 iPad 更好，因為其配備了他們的全新 ARM 芯片，而微軟則勸說大眾 Surface 更好，因為它使用了最新的英特爾芯片。 兩家品牌的愛好者們會花無數(shù)個夜晚在論壇上激烈爭辯，討論 ARM 與英特爾、RISC 與 CISC 孰優(yōu)孰劣——但實際上 99% 的用戶對此并不關(guān)心。 他們選擇平板電腦的標(biāo)準(zhǔn)，是更喜歡其中某一款的外觀和質(zhì)感、用戶體驗以及對品牌的認(rèn)可。
除了系統(tǒng)內(nèi)部的一些技術(shù)差異之外，對于大多數(shù)用戶來說，選擇富士還是佳能、尼康、索尼等可能與選擇百事可樂還是可口可樂那樣沒有太大區(qū)別。
復(fù)雜性的后果
無論選擇相機(jī)的標(biāo)準(zhǔn)是什么，盡可能發(fā)揮其傳感器的最佳性能仍然很重要。此外，還有必要看看將圖像放大到 100% 或更大時會發(fā)生什么。
我們需要牢記，最終呈現(xiàn)的圖像不單是傳感器本身作用的結(jié)果。無論是在相機(jī)內(nèi)還是通過軟件，都會歷經(jīng)各種各樣的流程，尤其是去馬賽克，即填補(bǔ)紅色、綠色和藍(lán)色通道之間空白的算法。 這些算法與濾色器陣列相結(jié)合，才決定了最終的結(jié)果。
拜耳濾色器一直占據(jù)一席之地的原因之一，便是工程師已習(xí)慣于處理它的數(shù)據(jù)。 研究人員耗費(fèi)四年時間，才找到為拜耳傳感器去馬賽克的最佳方案，多年來開發(fā)的那些高度復(fù)雜的算法為他們放寬了許多設(shè)計方面的基本限制。 即使是相當(dāng)簡單的算法，例如嵌入在第一代數(shù)碼相機(jī)中的算法，也能產(chǎn)生不錯的效果。
另一方面，X-Trans 模式增加的復(fù)雜性也相應(yīng)帶來了復(fù)雜得多的去馬賽克流程。 據(jù)說富士的工程師花了五年時間才使得其相機(jī)處理能力迎頭趕上其他競品，得以于 2012 年在 X-Pro1 中引入 X-Trans。 與此同時，與拜耳相比，研究界發(fā)表的關(guān)于 X-Trans 去馬賽克的論文要少得多。它不僅是一個更復(fù)雜的問題，而且用于解決這個問題的研究數(shù)量也更少。 平心而論，當(dāng)前的 X-Trans 去馬賽克算法距離實現(xiàn)理論上的最佳解決方案還有一段距離。 這也是富士的粉絲經(jīng)常徘徊在不同的軟件包之間尋找解決方案、以獲得最佳結(jié)果的原因之一。
通過機(jī)器學(xué)習(xí)克服復(fù)雜性
今天，機(jī)器學(xué)習(xí)——特別是一項被稱為卷積神經(jīng)網(wǎng)絡(luò)的技術(shù)——正在徹底改變圖像處理。 這類新算法在短短幾年之內(nèi)便讓數(shù)十年的研究工作相形見絀，它不再由研究人員和工程師手工計算得出，而是由計算機(jī)從數(shù)百萬個訓(xùn)練示例中由經(jīng)驗式學(xué)習(xí)得出。 例如，在拜耳的去馬賽克技術(shù)中，神經(jīng)網(wǎng)絡(luò)現(xiàn)在可以輕松擊敗人類設(shè)計出的最佳算法。
這種變革對于畢生致力于去馬賽克算法的研究人員來說，固然令人沮喪，但它實際上是一個巨大的機(jī)會。 由此不僅可以獲取更佳的結(jié)果，而且還提高了生產(chǎn)力：計算機(jī)可以在幾天或幾周內(nèi)找到最先進(jìn)的去馬賽克算法，而不是幾年或幾十年。 當(dāng)有確切的輸入和預(yù)期的輸出，但兩者之間的映射過于復(fù)雜、無法以經(jīng)典算法表達(dá)時，機(jī)器學(xué)習(xí)的優(yōu)勢便格外突顯。 圖像和語音識別便是最早的范例。機(jī)器學(xué)習(xí)確實是一種非常強(qiáng)大的工具，在經(jīng)典算法行之有效的領(lǐng)域(如去馬賽克)，它依然被證實有用。
X-Trans 的去馬賽克是機(jī)器學(xué)習(xí)的絕佳對象。 由于比拜耳的去馬賽克流程更為復(fù)雜，其機(jī)器學(xué)習(xí)相較于傳統(tǒng)工程的優(yōu)勢，理應(yīng)比在拜耳去馬賽克上顯現(xiàn)的優(yōu)勢更大。 我們在 Adobe 的同行在 2020 年初推出由機(jī)器學(xué)習(xí)驅(qū)動的“增強(qiáng)細(xì)節(jié)”功能時，便清晰地證明了這一點。 測評人士得出結(jié)論是，拜耳的圖像上只展現(xiàn)出微妙的差異，但 X-Trans 的圖像獲得了顯著改善。
在 DxO，我們使用 DxO PhotoLab 中的機(jī)器學(xué)習(xí)解決了另一項高度復(fù)雜的任務(wù)：我們的 RAW 轉(zhuǎn)換技術(shù)——DxO DeepPRIME。它使用單個巨大的卷積神經(jīng)網(wǎng)絡(luò)同時應(yīng)用去馬賽克和降噪。 經(jīng)過 10 天的密集工作，我們的計算機(jī)開發(fā)出了一種高度復(fù)雜的算法，其表現(xiàn)優(yōu)于我們在低 ISO 條件下的傳統(tǒng)去馬賽克技術(shù)，以及我們在高 ISO 條件下的傳統(tǒng)去馬賽克和降噪技術(shù)。
DxO PhotoLab5 和 DxO PureRAW2 為 X-Trans 提供 DxO DeepPRIME
拜耳傳感器圖像的工作完成后，做出更改以適應(yīng) X-Trans 的 raw 文件便不再是一項艱巨的任務(wù)，因為只需進(jìn)行少量修改就可重復(fù)使用生成訓(xùn)練數(shù)據(jù)的過程。 當(dāng)中依然有許多困難需要克服，因為我們必須從根本上改變網(wǎng)絡(luò)形狀以適應(yīng)復(fù)雜的 X-Trans 模式，但它是可行的，并且具有光明的前景， 最終的結(jié)果也令人振奮。 我們來看一個例子。
這張低光室內(nèi)動態(tài)照片是使用富士 X-T3 在 ISO 6400 下拍攝的。 原始照片曝光不足，因此我們在后期處理過程中將其推高了兩檔 — 相當(dāng)于 ISO 25600(上圖)。 JPEG 圖像上無法進(jìn)行如此大幅度的曝光調(diào)整，因此這里不是與相機(jī)進(jìn)行比較，而是與一款著名的 raw 轉(zhuǎn)換器——具有“增強(qiáng)細(xì)節(jié)”功能的 Adobe Lightroom(左下角)進(jìn)行比較。 當(dāng)我們放大人臉觀察時，可以看到 DxO DeepPRIME(右下，使用 DxO PhotoLab)的圖像明顯更為清晰。 因為 DeepPRIME 使用神經(jīng)網(wǎng)絡(luò)同時運(yùn)行去馬賽克和降噪，在降噪方面表現(xiàn)更佳，同時在亮度和顏色方面保留了更多細(xì)節(jié)。
顯然，要在像 DxO PhotoLab 和 DxO PureRAW 2 這樣復(fù)雜的軟件中完全支持 X-Trans，需要的不僅僅是 DxO DeepPRIME。 我們實驗室用于校準(zhǔn)每個相機(jī)機(jī)身的顏色和噪點模型的許多內(nèi)部工具也必須進(jìn)行調(diào)整。 其他幾個處理塊也必須從頭開始設(shè)計，例如用戶在進(jìn)行調(diào)整時用于顯示預(yù)覽的去馬賽克算法。
讓您的照片也受益于技術(shù)的進(jìn)步
經(jīng)過一段時間的緊張研發(fā)，DxO PhotoLab 5 和 DxO PureRAW 2 現(xiàn)已準(zhǔn)備就緒，可為您的 RAW 文件帶來顯著的改進(jìn)。 我們相信，攝影師會愛上我們的 DxO DeepPRIME 技術(shù)，它能成功再現(xiàn)此前缺失的色彩細(xì)節(jié)，為老照片帶來新的活力，提升高 ISO 圖像的品質(zhì)。 下載免費(fèi)試用版并了解 DxO DeepPRIME 如何可以提升您的照片品質(zhì)。
下載文檔
