壓縮感知和深度學(xué)習的區(qū)別

本質(zhì)上是兩個問題。如果一定要找聯(lián)系，兩者都涉及數(shù)據(jù)的稀疏表達。
壓縮感知解決“逆問題”：Ax=b。對于欠定的線性系統(tǒng)，如果已知解具有稀疏性（sparsity），稀疏性可以作為約束或者正則項，提供額外的先驗信息。線性逆問題和稀疏性在這類問題中的應(yīng)用有相對完整的理論體系，樓上 yang liu推薦的 Michael Elad的書是很好的入門教材。

另一類關(guān)系密切的問題是低秩矩陣恢復(fù)(low-rank matrix recovery)，使用low-rank作為先驗知識，解關(guān)于矩陣的線性逆問題，發(fā)展出一套理論。

壓縮感知的思想被應(yīng)用在了更多的領(lǐng)域，比如非線性逆問題。相關(guān)的理論正在快速的發(fā)展，但是應(yīng)用已經(jīng)領(lǐng)先一步。我個人感興趣的是雙線性逆問題（bilinear inverse problem），比如盲反卷積（blind deconvolution）、矩陣分解(matrix factorization)。

在應(yīng)用壓縮感知的過程中，我們發(fā)現(xiàn)大部分信號本身并不是稀疏的（即在自然基下的表達不是稀疏的）。但是經(jīng)過適當?shù)木€性變換后是稀疏的（即在我們選擇的另一組基（basis）或者框架（frame，我不知道如何翻譯）下是稀疏的）。比如諧波提?。╤armonic retrieval）中，時域信號不稀疏，但在傅里葉域信號是稀疏的。再比如大部分自然圖像不是稀疏的，但經(jīng)過DCT（離散余先變換）或者wavelet transform（小波變換），可以得到稀疏的表達。一個一度非常熱門的研究課題是字典學(xué)習（Dictionary Learning）和變換學(xué)習（Transform Learning），通過大量的信號實例，自適應(yīng)地學(xué)習稀疏性表達。


深度學(xué)習是機器學(xué)習的一種手段，參見樓上Stephen Wang的解釋。深度學(xué)習中通常都涉及非線性環(huán)節(jié)。這里數(shù)據(jù)表達的目的通常不再是數(shù)據(jù)恢復(fù)（recovery），而是分類（classification）等機器學(xué)習的任務(wù)。


下面是我理解的區(qū)別：
在信號處理中的稀疏表達學(xué)習（sparse representation learning）側(cè)重對信號建模，即目標是獲取原信號的一個忠實的表達（faithful representation）。我們通常需要變換和逆變換，來實現(xiàn)信號的重建（reconstruction）。即使在不需要重建的問題中，我們也需要這種表達能夠很好地區(qū)分有意義的信號和無意義的噪聲（discriminate signal against noise）。所以這類變換通常有很多良好的性質(zhì)（可逆、很好的條件數(shù)（condition numer）等）。
深度學(xué)習或者更廣泛的機器學(xué)習中，數(shù)據(jù)表達的目標因問題而異，但是通常我們都不需要這種表達過程的可逆性。比如在分類問題中，我們的目標是把數(shù)據(jù)變換到有“意義”的空間，實現(xiàn)不同類別信號的分離。這種變換可以是線性或非線性的，可以是可逆或不可逆的，可以變換到稀疏的表達或其他有意義的便于分類的表達。