一文讀懂:機(jī)器學(xué)習(xí)、數(shù)據(jù)科學(xué)、人工智能、深度學(xué)習(xí)和統(tǒng)計學(xué)之間的區(qū)別
掃描二維碼
隨時隨地手機(jī)看文章
數(shù)據(jù)科學(xué)是個廣義的學(xué)科, AnalyTIcs data scienTIst(Type A)和Builder data scienTIst(Type B)有所不同。
數(shù)據(jù)科學(xué)是個廣義的學(xué)科, AnalyTIcs data scientist(Type A)和Builder data scientist(Type B)有所不同,Type A Data Scientists在工作中遇到數(shù)據(jù)相關(guān)時可以寫出不錯的代碼,但是并不必須是專家,這類data scientist可能專業(yè)是實驗設(shè)計、預(yù)測、建模、統(tǒng)計推斷或者其他統(tǒng)計學(xué)研究的典型部分。但是一般而言,數(shù)據(jù)科學(xué)家的工作產(chǎn)出可不是學(xué)術(shù)統(tǒng)計學(xué)有時候建議的那樣“p-values and confidence intervals”(正如有時候傳統(tǒng)的藥物領(lǐng)域統(tǒng)計學(xué)家會用到那樣)。在Google,Type A Data Scientists通常指統(tǒng)計學(xué)家、定量分析師、決策支持技術(shù)分析師或者數(shù)據(jù)科學(xué)家,可能還有其他的一些。
Type B Data Scientists是building data的。B類和A類有些相同的統(tǒng)計學(xué)背景,但他們還是更好的coders,可能有專業(yè)的軟件工程的訓(xùn)練。他們主要對在產(chǎn)品中使用數(shù)據(jù)感興趣,他們建立與用戶交互的模型,通常是提供推薦的(產(chǎn)品、可能認(rèn)識的人、廣告電影、搜索結(jié)果之類)。
1.機(jī)器學(xué)習(xí) vs 深度學(xué)習(xí)
在深度探討machine learning和data science的聯(lián)系之前,這里簡要地討論一下machine learning 和deep learning。machine learning是一套算法,來訓(xùn)練數(shù)據(jù)集做預(yù)測或者采取行動以使得系統(tǒng)最優(yōu)化。舉例來說,supervised classification algorithms被用來根據(jù)歷史數(shù)據(jù)將想要貸款的客戶分成預(yù)期好的和預(yù)期差的(good or bad prospects)。對于給定的任務(wù)(比如監(jiān)督聚類),需要的技術(shù)多種多樣:naive Bayes、SVM、neural nets、ensembles、association rules、decision trees、logistic regression,或者是很多技術(shù)的組合。所有這些都是數(shù)據(jù)科學(xué)的子集。當(dāng)這些算法自動化后,比如無人駕駛飛機(jī)或者無人駕駛汽車,這就叫AI了,或者說的具體一點,deep learning。如果采集的數(shù)據(jù)來自傳感器并且通過互聯(lián)網(wǎng)傳播,那么這就是機(jī)器學(xué)習(xí)或數(shù)據(jù)科學(xué)或深度學(xué)習(xí)應(yīng)用于物聯(lián)網(wǎng)了。
有些人對深度學(xué)習(xí)有不同的定義,他們認(rèn)為深度學(xué)習(xí)是更深層次的神經(jīng)網(wǎng)絡(luò)(一種機(jī)器學(xué)習(xí)的技術(shù))。AI(Artificial Intelligence)是創(chuàng)建于20世紀(jì)60年代的計算機(jī)科學(xué)的一個子領(lǐng)域,是關(guān)于解決那些對人類來講非常容易但是對計算機(jī)而言很難的任務(wù)。值得一提的是,所謂的strong AI可能可以做所有人類可以做的事情(可能除了純粹的物理問題)。這是相當(dāng)廣泛的,包括各種各樣的事情,比如做計劃,在世界上到處溜達(dá),識別物體和聲音,說話,翻譯,社交或者商業(yè)交易,還有創(chuàng)造性工作(比如寫詩畫畫)等等。
NLP(Natural language processing)只是AI要處理的語言部分,尤其是寫。
Machine learning是這樣的一種情況:給出一些可以被以離散形式描述的AI問題(比如從一系列動作中選出對的那個),然后給定一堆外部世界的信息,在不需要程序員手動寫程序的情況下選出那個“正確的”行為。通常情況需要借助外界的一些過程來判斷這個動作對不對。在數(shù)學(xué)上,這就是函數(shù):你給一些輸入,然后你想要他處理一下得到正確的輸出,所以整個問題就簡化為用一些自動的方式建立這種數(shù)學(xué)函數(shù)模型。和AI區(qū)分一下:如果我寫了一段特別機(jī)智的程序有著人類的行為,那這就可以是AI,但是除非它的參量都是自動從數(shù)據(jù)中學(xué)會的,否則就不是機(jī)器學(xué)習(xí)。
Deep learning是當(dāng)下非常流行的機(jī)器學(xué)習(xí)的一種。它包含一種特殊的數(shù)學(xué)模型,可以想成是一種特定類型的簡單塊的組合(或者說是塊的功能的組合),這些塊可以進(jìn)行調(diào)整來更好的預(yù)測最終結(jié)果。
2. Data Science VS Machine Learning
機(jī)器學(xué)習(xí)和統(tǒng)計學(xué)都是數(shù)據(jù)科學(xué)的一部分。Learning這個詞在machine learning里意味著依賴于某些數(shù)據(jù)的算法,被用作一種訓(xùn)練模式集來調(diào)整一些模型或者算法參數(shù)。這包含很多技術(shù),比如回歸、樸素貝葉斯或者監(jiān)督聚類。但不是所有的技術(shù)都適合這個分類。比如,非監(jiān)督聚類——一種統(tǒng)計學(xué)和數(shù)據(jù)科學(xué)的方法——旨在不依靠任何先驗知識和訓(xùn)練集監(jiān)測聚類或聚類結(jié)構(gòu)來幫助分類算法。需要有人來標(biāo)注被發(fā)現(xiàn)的聚類。有些技術(shù)是混合的,比如半監(jiān)督分類。有些模式偵查或者密度評估技術(shù)適合這個分類。
然而數(shù)據(jù)科學(xué)比機(jī)器學(xué)習(xí)范圍大得多。數(shù)據(jù)科學(xué)里“data”,可能是也可能不是來自機(jī)器或者機(jī)械過程的(調(diào)查結(jié)果可能是人工采集的,臨床試驗需要一種特殊類型的small data等),而且可能和上面提到的”learning”一點關(guān)系也沒有。但是主要的不同還是因為數(shù)據(jù)科學(xué)實際上涵蓋了整個數(shù)據(jù)處理的范圍,而不只是算法或者統(tǒng)計學(xué)方面。