當(dāng)前位置:首頁 > 公眾號精選 > AI科技大本營
[導(dǎo)讀]作者|泳魚來源|?算法進(jìn)階本文詳細(xì)地梳理及實(shí)現(xiàn)了深度學(xué)習(xí)模型構(gòu)建及預(yù)測的全流程,代碼示例基于python及神經(jīng)網(wǎng)絡(luò)庫keras,通過設(shè)計(jì)一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型做波士頓房價(jià)預(yù)測。主要依賴的Python庫有:keras、scikit-learn、pandas、tensorflow(建議...

作者 | 泳魚
來源 | 算法進(jìn)階本文詳細(xì)地梳理及實(shí)現(xiàn)了深度學(xué)習(xí)模型構(gòu)建及預(yù)測的全流程,代碼示例基于python及神經(jīng)網(wǎng)絡(luò)庫keras,通過設(shè)計(jì)一個(gè)深度神經(jīng)網(wǎng)絡(luò)模型做波士頓房價(jià)預(yù)測。主要依賴的Python庫有:keras、scikit-learn、pandas、tensorflow(建議可以安裝下anaconda包,自帶有常用的python庫)


一、基礎(chǔ)介紹

  • 機(jī)器學(xué)習(xí)
機(jī)器學(xué)習(xí)的核心是通過模型從數(shù)據(jù)中學(xué)習(xí)并利用經(jīng)驗(yàn)去決策。進(jìn)一步的,機(jī)器學(xué)習(xí)一般可以概括為:從數(shù)據(jù)出發(fā),選擇某種模型,通過優(yōu)化算法更新模型的參數(shù)值,使任務(wù)的指標(biāo)表現(xiàn)變好(學(xué)習(xí)目標(biāo)),最終學(xué)習(xí)到“好”的模型,并運(yùn)用模型對數(shù)據(jù)做預(yù)測以完成任務(wù)。由此可見,機(jī)器學(xué)習(xí)方法有四個(gè)要素:數(shù)據(jù)、模型、學(xué)習(xí)目標(biāo)、優(yōu)化算法。


  • 深度學(xué)習(xí)
深度學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)分支,它是使用多個(gè)隱藏層神經(jīng)網(wǎng)絡(luò)模型,通過大量的向量計(jì)算,學(xué)習(xí)到數(shù)據(jù)內(nèi)在規(guī)律的高階表示特征,并利用這些特征決策的過程。


  • keras簡介
本文基于keras搭建神經(jīng)網(wǎng)絡(luò)模型去預(yù)測,keras是python上常用的神經(jīng)網(wǎng)絡(luò)庫。相比于tensorflow、Pytorch等庫,它對初學(xué)者很友好,開發(fā)周期較快。下圖為keras要點(diǎn)知識的速查表:


二、建模流程

深度學(xué)習(xí)的建模預(yù)測流程,與傳統(tǒng)機(jī)器學(xué)習(xí)整體是相同的,主要區(qū)別在于深度學(xué)習(xí)是端對端學(xué)習(xí),可以自動(dòng)提取高層次特征,大大減少了傳統(tǒng)機(jī)器學(xué)習(xí)依賴的特征工程。如下詳細(xì)梳理流程的各個(gè)節(jié)點(diǎn)并附相應(yīng)代碼:


2.1 明確問題及數(shù)據(jù)選擇

2.1.1 明確問題

深度學(xué)習(xí)的建模預(yù)測,首先需要明確問題,即抽象為機(jī)器 / 深度學(xué)習(xí)的預(yù)測問題:需要學(xué)習(xí)什么樣的數(shù)據(jù)作為輸入,目標(biāo)是得到什么樣的模型做決策作為輸出。


以預(yù)測房價(jià)為例,我們需要輸入:和房價(jià)有關(guān)的數(shù)據(jù)信息為特征x,對應(yīng)的房價(jià)為y作為監(jiān)督信息。再通過神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)特征x到房價(jià)y內(nèi)在的映射關(guān)系。通過學(xué)習(xí)好的模型輸入需要預(yù)測數(shù)據(jù)的特征x,輸出模型預(yù)測Y。對于一個(gè)良好的模型,它預(yù)測房價(jià)Y應(yīng)該和實(shí)際y很接近。


2.1.2 數(shù)據(jù)選擇

深度學(xué)習(xí)是端對端學(xué)習(xí),學(xué)習(xí)過程中會提取到高層次抽象的特征,大大弱化特征工程的依賴,正因?yàn)槿绱?,?shù)據(jù)選擇也顯得格外重要,其決定了模型效果的上限。如果數(shù)據(jù)質(zhì)量差,預(yù)測的結(jié)果自然也是很差的——業(yè)界一句名言“garbage in garbage out”。


數(shù)據(jù)選擇是準(zhǔn)備機(jī)器 / 深度學(xué)習(xí)原料的關(guān)鍵,需要關(guān)注的是:


①數(shù)據(jù)樣本規(guī)模:對于深度學(xué)習(xí)等復(fù)雜模型,通常樣本量越多越好。如《Revisiting Unreasonable Effectiveness of Data in Deep Learning Era 》等研究,一定規(guī)模下,深度學(xué)習(xí)性能會隨著數(shù)據(jù)量的增加而增加。然而工程實(shí)踐中,受限于硬件支持、標(biāo)注標(biāo)簽成本等原因,樣本的數(shù)據(jù)量通常是比較有限的,這也是機(jī)器學(xué)習(xí)的重難點(diǎn)。對于模型所需最少的樣本量,其實(shí)沒有固定準(zhǔn)則,需要要結(jié)合實(shí)際樣本特征、任務(wù)復(fù)雜度等具體情況(經(jīng)驗(yàn)上,對于分類任務(wù),每個(gè)類別要上千的樣本數(shù))。


② 數(shù)據(jù)的代表性:數(shù)據(jù)質(zhì)量差、無代表性,會導(dǎo)致模型擬合效果差。需要明確與任務(wù)相關(guān)的數(shù)據(jù)表范圍,避免缺失代表性數(shù)據(jù)或引入大量無關(guān)數(shù)據(jù)作為噪音。


③ 數(shù)據(jù)時(shí)間范圍:對于監(jiān)督學(xué)習(xí)的特征變量x及標(biāo)簽y,如與時(shí)間先后有關(guān),則需要?jiǎng)澏ê脭?shù)據(jù)時(shí)間窗口,否則可能會導(dǎo)致常見的數(shù)據(jù)泄漏問題,即存在了特征與標(biāo)簽因果顛倒的情況。


以預(yù)測房價(jià)任務(wù)為例,對數(shù)據(jù)選擇進(jìn)行說明:


  • 收集房價(jià)相關(guān)的數(shù)據(jù)信息(特征維度)和對應(yīng)房價(jià)(標(biāo)簽),以及盡量多的樣本數(shù)。數(shù)據(jù)信息如該區(qū)域的繁華程度、教育資源、治安等情況就和預(yù)測的房價(jià)比較相關(guān),有代表性。而諸如該區(qū)域“人均養(yǎng)的兔子數(shù)”類數(shù)據(jù)信息,對房價(jià)的預(yù)測就沒那么相關(guān),對于無代表性的數(shù)據(jù)特征的加入,主要會增加人工處理的成本、計(jì)算復(fù)雜度,還有可能引入了模型學(xué)習(xí)的噪音。


  • 劃定好數(shù)據(jù)時(shí)間窗口。比如我們可以學(xué)習(xí)該區(qū)域歷史2010~2020年的房價(jià),預(yù)測未來2021的房價(jià)(這是一個(gè)經(jīng)典的時(shí)間序列預(yù)測問題,常用RNN模型)。但卻不能學(xué)習(xí)了2021年或者更后面的未來房價(jià)、人口數(shù)等相關(guān)信息,反過來去預(yù)測2021年房價(jià),這就是一個(gè)數(shù)據(jù)泄露的問題(模型都學(xué)習(xí)了與標(biāo)簽相關(guān)等未知的信息,還預(yù)測個(gè)啥?)。


本節(jié)代碼

如下加載數(shù)據(jù)的代碼,使用的是keras自帶的波士頓房價(jià)數(shù)據(jù)集。一些常用的機(jī)器學(xué)習(xí)開源數(shù)據(jù)集可以到kaggle.com/datasets、archive.ics.uci.edu等網(wǎng)站下載。


from keras.datasets import boston_housing #導(dǎo)入波士頓房價(jià)數(shù)據(jù)集

(train_x, train_y), (test_x, test_y) = boston_housing.load_data()
波士頓房價(jià)數(shù)據(jù)集是統(tǒng)計(jì)20世紀(jì)70年代中期波士頓郊區(qū)房價(jià)等情況,有當(dāng)時(shí)城鎮(zhèn)的犯罪率、房產(chǎn)稅等共計(jì)13個(gè)指標(biāo)(特征)以及對應(yīng)的房價(jià)中位數(shù)(標(biāo)簽)。


2.2 特征工程

特征工程就是對原始數(shù)據(jù)分析處理,轉(zhuǎn)化為模型可用的特征。這些特征可以更好地向預(yù)測模型描述潛在規(guī)律,從而提高模型對未見數(shù)據(jù)的準(zhǔn)確性。對于深度學(xué)習(xí)模型,特征生成等加工不多,主要是一些數(shù)據(jù)的分析、預(yù)處理,然后就可以灌入神經(jīng)網(wǎng)絡(luò)模型了。


2.2.1  探索性數(shù)據(jù)分析

選擇好數(shù)據(jù)后,可以先做探索性數(shù)據(jù)分析(EDA)去理解數(shù)據(jù)本身的內(nèi)部結(jié)構(gòu)及規(guī)律。如果你對數(shù)據(jù)情況不了解,也沒有相關(guān)的業(yè)務(wù)背景知識,不做相關(guān)的分析及預(yù)處理,直接將數(shù)據(jù)喂給模型往往效果不太好。通過探索性數(shù)據(jù)分析,可以了解數(shù)據(jù)分布、缺失、異常及相關(guān)性等情況。


本節(jié)代碼

我們可以通過EDA數(shù)據(jù)分析庫如pandas profiling,自動(dòng)生成分析報(bào)告,可以看到這份現(xiàn)成的數(shù)據(jù)集是比較"干凈的":


import pandas as pd
import pandas_profiling

#  特征名稱
feature_name = ['CRIM|住房所在城鎮(zhèn)的人均犯罪率',
'ZN|住房用地超過 25000 平方尺的比例',
'INDUS|住房所在城鎮(zhèn)非零售商用土地的比例',
'CHAS|有關(guān)查理斯河的虛擬變量(如果住房位于河邊則為1,否則為0 )',
'NOX|一氧化氮濃度',
'RM|每處住房的平均房間數(shù)',
'AGE|建于 1940 年之前的業(yè)主自住房比例',
'DIS|住房距離波士頓五大中心區(qū)域的加權(quán)距離',
'RAD|距離住房最近的公路入口編號',
'TAX 每 10000 美元的全額財(cái)產(chǎn)稅金額',
'PTRATIO|住房所在城鎮(zhèn)的師生比例',
'B|1000(Bk|0.63)^2,其中 Bk 指代城鎮(zhèn)中黑人的比例',
'LSTAT|弱勢群體人口所占比例']

train_df = pd.DataFrame(train_x, columns=feature_name) # 轉(zhuǎn)為df格式

pandas_profiling.ProfileReport(train_df)

2.2.2 特征表示

像圖像、文本字符類的數(shù)據(jù),需要轉(zhuǎn)換為計(jì)算機(jī)能夠處理的數(shù)值形式。圖像數(shù)據(jù)(pixel image)實(shí)際上是由一個(gè)像素組成的矩陣所構(gòu)成的,而每一個(gè)像素點(diǎn)又是由RGB顏色通道中分別代表R、G、B的一個(gè)三維向量表示,所以圖像實(shí)際上可以用RGB三維矩陣(3-channel matrix)的表示(第一個(gè)維度:高度,第二個(gè)維度:寬度,第三個(gè)維度:RGB通道),最終再重塑為一列向量(reshaped image vector)方便輸入模型。


文本類(類別型)的數(shù)據(jù)可以用多維數(shù)組表示,包括:① ONEHOT(獨(dú)熱編碼)表示:它是用單獨(dú)一個(gè)位置的0或1來表示每個(gè)變量值,這樣就可以將每個(gè)不同的字符取值用唯一的多維數(shù)組來表示,將文字轉(zhuǎn)化為數(shù)值。如字符類的性別信息就可以轉(zhuǎn)換為“是否為男”、“是否為女”、“未知”等特征。


②word2vetor分布式表示:它基本的思想是通過神經(jīng)網(wǎng)絡(luò)模型學(xué)習(xí)每個(gè)單詞與鄰近詞的關(guān)系,從而將單詞表示成低維稠密向量。通過這樣的分布式表示可以學(xué)習(xí)到單詞的語義信息,直觀來看語義相似的單詞其對應(yīng)的向量距離相近。


本節(jié)代碼

數(shù)據(jù)集已是數(shù)值類數(shù)據(jù),本節(jié)不做處理。


2.2.2 特征清洗

  • 異常值處理 收集的數(shù)據(jù)由于人為或者自然因素可能引入了異常值(噪音),這會對模型學(xué)習(xí)進(jìn)行干擾。通常需要處理人為引起的異常值,通過業(yè)務(wù)及技術(shù)手段(如數(shù)據(jù)分布、3σ準(zhǔn)則)判定異常值,再結(jié)合實(shí)際業(yè)務(wù)含義刪除或者替換掉異常值。


  • 缺失值處理 神經(jīng)網(wǎng)絡(luò)模型缺失值的處理是必要的,數(shù)據(jù)缺失值可以通過結(jié)合業(yè)務(wù)進(jìn)行填充數(shù)值或者刪除。① 缺失率較高,結(jié)合業(yè)務(wù)可以直接刪除該特征變量。經(jīng)驗(yàn)上可以新增一個(gè)bool類型的變量特征記錄該字段的缺失情況,缺失記為1,非缺失記為0;② 缺失率較低,可使用一些缺失值填充手段,如結(jié)合業(yè)務(wù)fillna為0或-9999或平均值,或者訓(xùn)練回歸模型預(yù)測缺失值并填充。


本節(jié)代碼

從數(shù)據(jù)分析報(bào)告可見,波士頓房價(jià)數(shù)據(jù)集無異常、缺失值情況,本節(jié)不做處理。


2.2.3  特征生成

特征生成作用在于彌補(bǔ)基礎(chǔ)特征對樣本信息的表達(dá)有限,增加特征的非線性表達(dá)能力,提升模型效果。它是根據(jù)基礎(chǔ)特征的含義進(jìn)行某種處理(聚合 / 轉(zhuǎn)換之類),常用方法如人工設(shè)計(jì)、自動(dòng)化特征衍生(如featuretools工具):深度神經(jīng)網(wǎng)絡(luò)會自動(dòng)學(xué)習(xí)到高層次特征,常見的深度學(xué)習(xí)的任務(wù),圖像類、文本類任務(wù)通常很少再做特征生成。而對于數(shù)值類的任務(wù),加工出顯著特征對加速模型的學(xué)習(xí)是有幫助的,可以做嘗試。


本節(jié)代碼

特征已經(jīng)比較全面,本節(jié)不再做處理,可自行驗(yàn)證特征生成的效果。


2.2.4  特征選擇

特征選擇用于篩選出顯著特征、摒棄非顯著特征。這樣做主要可以減少特征(避免維度災(zāi)難),提高訓(xùn)練速度,降低運(yùn)算開銷;減少干擾噪聲,降低過擬合風(fēng)險(xiǎn),提升模型效果。常用的特征選擇方法有:過濾法(如特征缺失率、單值率、相關(guān)系數(shù))、包裝法(如RFE遞歸特征消除、雙向搜索)、嵌入法(如帶L1正則項(xiàng)的模型、樹模型自帶特征選擇)。


本節(jié)代碼

模型使用L1正則項(xiàng)方法,本節(jié)不再做處理,可自行驗(yàn)證其他方法。


2.3 模型訓(xùn)練

神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練主要有3個(gè)步驟:


  • 構(gòu)建模型結(jié)構(gòu)(主要有神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)、激活函數(shù)的選擇、模型權(quán)重如何初始化、網(wǎng)絡(luò)層是否批標(biāo)準(zhǔn)化、正則化策略的設(shè)定)
  • 模型編譯(主要有學(xué)習(xí)目標(biāo)、優(yōu)化算法的設(shè)定)
  • 模型訓(xùn)練及超參數(shù)調(diào)試(主要有劃分?jǐn)?shù)據(jù)集,超參數(shù)調(diào)節(jié)及訓(xùn)練)

2.3.1 模型結(jié)構(gòu)

常見的神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)有全連接神經(jīng)網(wǎng)絡(luò)(FCN)、RNN(常用于文本 / 時(shí)間系列任務(wù))、CNN(常用于圖像任務(wù))等等。


神經(jīng)網(wǎng)絡(luò)由輸入層、隱藏層與輸出層構(gòu)成。不同的層數(shù)、神經(jīng)元(計(jì)算單元)數(shù)目的模型性能也會有差異。


  • 輸入層:為數(shù)據(jù)特征輸入層,輸入數(shù)據(jù)特征維數(shù)就對應(yīng)著網(wǎng)絡(luò)的神經(jīng)元數(shù)。(注:輸入層不計(jì)入模型層數(shù))
  • 隱藏層:即網(wǎng)絡(luò)的中間層(可以很多層),其作用接受前一層網(wǎng)絡(luò)輸出作為當(dāng)前的輸入值,并計(jì)算輸出當(dāng)前結(jié)果到下一層。隱藏層的層數(shù)及神經(jīng)元個(gè)數(shù)直接影響模型的擬合能力。
  • 輸出層:為最終結(jié)果輸出的網(wǎng)絡(luò)層。輸出層的神經(jīng)元個(gè)數(shù)代表了分類類別的個(gè)數(shù)(注:在做二分類時(shí)情況特殊一點(diǎn),如果輸出層的激活函數(shù)采用sigmoid,輸出層的神經(jīng)元個(gè)數(shù)為1個(gè);如果采用softmax,輸出層神經(jīng)元個(gè)數(shù)為2個(gè)是與分類類別個(gè)數(shù)對應(yīng)的;)
對于模型結(jié)構(gòu)的神經(jīng)元個(gè)數(shù) ,輸入層、輸出層的神經(jīng)元個(gè)數(shù)通常是確定的,主要需要考慮的是隱藏層的深度及寬度,在忽略網(wǎng)絡(luò)退化問題的前提下,通常隱藏層的神經(jīng)元的越多,模型有更多的容量(capcity)去達(dá)到更好的擬合效果(也更容易過擬合)。搜索合適的網(wǎng)絡(luò)深度及寬度,常用有人工經(jīng)驗(yàn)調(diào)參、隨機(jī) / 網(wǎng)格搜索、貝葉斯優(yōu)化等方法。經(jīng)驗(yàn)上的做法,可以參照下同類任務(wù)效果良好的神經(jīng)網(wǎng)絡(luò)模型的結(jié)構(gòu),結(jié)合實(shí)際的任務(wù),再做些微調(diào)。


2.3.2 激活函數(shù)

根據(jù)萬能近似原理,簡單來說,神經(jīng)網(wǎng)絡(luò)有“夠深的網(wǎng)絡(luò)層”以及“至少一層帶激活函數(shù)的隱藏層”,既可以擬合任意的函數(shù)。可見激活函數(shù)的重要性,它起著特征空間的非線性轉(zhuǎn)換。對于激活函數(shù)選擇的經(jīng)驗(yàn)性做法:


  • 對于輸出層,二分類的輸出層的激活函數(shù)常選擇sigmoid函數(shù),多分類選擇softmax;回歸任務(wù)根據(jù)輸出值范圍來確定使不使用激活函數(shù)。
  • 對于隱藏層的激活函數(shù)通常會選擇使用ReLU函數(shù),保證學(xué)習(xí)效率。

2.3.3 權(quán)重初始化

權(quán)重參數(shù)初始化可以加速模型收斂速度,影響模型結(jié)果。常用的初始化方法有:


  • uniform均勻分布初始化
  • normal高斯分布初始化 需要注意的是,權(quán)重不能初始化為0,這會導(dǎo)致多個(gè)隱藏神經(jīng)元的作用等同于1個(gè)神經(jīng)元,無法收斂。

2.3.4 批標(biāo)準(zhǔn)化

batch normalization(BN)批標(biāo)準(zhǔn)化,是神經(jīng)網(wǎng)絡(luò)模型常用的一種優(yōu)化方法。它的原理很簡單,即是對原來的數(shù)值進(jìn)行標(biāo)準(zhǔn)化處理:batch normalization在保留輸入信息的同時(shí),消除了層與層間的分布差異,具有加快收斂,同時(shí)有類似引入噪聲正則化的效果。它可應(yīng)用于網(wǎng)絡(luò)的輸入層或隱藏層,當(dāng)用于輸入層,就是線性模型常用的特征標(biāo)準(zhǔn)化處理。


2.3.5 正則化

正則化是在以(可能)增加經(jīng)驗(yàn)損失為代價(jià),以降低泛化誤差為目的,抑制過擬合,提高模型泛化能力的方法。經(jīng)驗(yàn)上,對于復(fù)雜任務(wù),深度學(xué)習(xí)模型偏好帶有正則化的較復(fù)雜模型,以達(dá)到較好的學(xué)習(xí)效果。常見的正則化策略有:dropout,L1、L2、earlystop方法。


2.3.6 選擇學(xué)習(xí)目標(biāo)

機(jī)器 / 深度學(xué)習(xí)通過學(xué)習(xí)到“好”的模型去決策,“好”即是機(jī)器 / 深度學(xué)習(xí)的學(xué)習(xí)目標(biāo),通常也就是預(yù)測值與目標(biāo)值之間的誤差盡可能的低。衡量這種誤差的函數(shù)稱為代價(jià)函數(shù) (Cost Function)或者損失函數(shù)(Loss Function),更具體地說,機(jī)器 / 深度學(xué)習(xí)的目標(biāo)是極大化降低損失函數(shù)。


對于不同的任務(wù),往往也需要用不同損失函數(shù)衡量,經(jīng)典的損失函數(shù)包括回歸任務(wù)的均方誤差損失函數(shù)及二分類任務(wù)的交叉熵?fù)p失函數(shù)等。


  • 均方誤差損失函數(shù)
衡量模型回歸預(yù)測的誤差情況,一個(gè)簡單思路是用各個(gè)樣本i的預(yù)測值f(x;w)減去實(shí)際值y求平方后的平均值,這也就是經(jīng)典的均方誤差(Mean Squared Error)損失函數(shù)。通過極小化降低均方誤差損失函數(shù),可以使得模型預(yù)測值與實(shí)際值數(shù)值差異盡量小。


  • 交叉熵?fù)p失函數(shù)
衡量二分類預(yù)測模型的誤差情況,常用交叉熵?fù)p失函數(shù),使得模型預(yù)測分布盡可能與實(shí)際數(shù)據(jù)經(jīng)驗(yàn)分布一致(最大似然估計(jì))。另外,還有一些針對優(yōu)化難點(diǎn)而設(shè)計(jì)的損失函數(shù),如Huber Loss主要用于解決回歸問題中,存在奇點(diǎn)數(shù)據(jù)帶偏模型訓(xùn)練的問題。Focal Loss主要解決分類問題中類別不均衡導(dǎo)致的模型訓(xùn)偏問題。


2.3.7 選擇優(yōu)化算法

當(dāng)我們機(jī)器 / 深度學(xué)習(xí)的學(xué)習(xí)目標(biāo)是極大化降低(某個(gè))損失函數(shù),那么如何實(shí)現(xiàn)這個(gè)目標(biāo)呢?通常機(jī)器學(xué)習(xí)模型的損失函數(shù)較復(fù)雜,很難直接求損失函數(shù)最小的公式解。幸運(yùn)的是,我們可以通過優(yōu)化算法(如梯度下降、隨機(jī)梯度下降、Adam等)有限次迭代優(yōu)化模型參數(shù),以盡可能降低損失函數(shù)的值,得到較優(yōu)的參數(shù)值。


對于大多數(shù)任務(wù)而言,通常可以直接先試下Adam、SGD,然后可以繼續(xù)在具體任務(wù)上驗(yàn)證不同優(yōu)化器效果。


2.3.8 模型訓(xùn)練及超參數(shù)調(diào)試

  • 劃分?jǐn)?shù)據(jù)集
訓(xùn)練模型前,常用的HoldOut驗(yàn)證法(此外還有留一法、k折交叉驗(yàn)證等方法),把數(shù)據(jù)集分為訓(xùn)練集和測試集,并可再對訓(xùn)練集進(jìn)一步細(xì)分為訓(xùn)練集和驗(yàn)證集,以方便評估模型的性能。① 訓(xùn)練集(training set):用于運(yùn)行學(xué)習(xí)算法,訓(xùn)練模型。② 開發(fā)驗(yàn)證集(development set)用于調(diào)整模型超參數(shù)、EarlyStopping、選擇特征等,以選擇出合適模型。③ 測試集(test set)只用于評估已選擇模型的性能,但不會據(jù)此改變學(xué)習(xí)算法或參數(shù)。


  • 超參數(shù)調(diào)試
神經(jīng)網(wǎng)絡(luò)模型的超參數(shù)是比較多的:數(shù)據(jù)方面超參數(shù) 如驗(yàn)證集比例、batch size等;模型方面 如單層神經(jīng)元數(shù)、網(wǎng)絡(luò)深度、選擇激活函數(shù)類型、dropout率等;學(xué)習(xí)目標(biāo)方面 如選擇損失函數(shù)類型,正則項(xiàng)懲罰系數(shù)等;優(yōu)化算法方面 如選擇梯度算法類型、初始學(xué)習(xí)率等。


常用的超參調(diào)試有人工經(jīng)驗(yàn)調(diào)節(jié)、網(wǎng)格搜索(grid search或for循環(huán)實(shí)現(xiàn))、隨機(jī)搜索(random search)、貝葉斯優(yōu)化(bayesian optimization)等方法。


另外,有像Keras Tuner分布式超參數(shù)調(diào)試框架(文檔見:keras.io/keras_tuner),集成了常用調(diào)參方法,還比較實(shí)用的。


本節(jié)代碼

  • 創(chuàng)建模型結(jié)構(gòu)結(jié)合當(dāng)前房價(jià)預(yù)測任務(wù)是一個(gè)經(jīng)典簡單表格數(shù)據(jù)的回歸預(yù)測任務(wù)。我們采用基礎(chǔ)的全連接神經(jīng)網(wǎng)絡(luò),隱藏層的深度一兩層也就差不多。通過keras.Sequential方法來創(chuàng)建一個(gè)神經(jīng)網(wǎng)絡(luò)模型,并在依次添加帶有批標(biāo)準(zhǔn)化的輸入層,一層帶有relu激活函數(shù)的k個(gè)神經(jīng)元的隱藏層,并對這層隱藏層添加dropout、L1、L2正則的功能。由于回歸預(yù)測數(shù)值實(shí)際范圍(5~50 )直接用線性輸出層,不需要加激活函數(shù)。
import numpy as np
import  matplotlib.pyplot as plt
%matplotlib inline
from tensorflow import random
from keras import regularizers
from keras.layers import Dense,Dropout,BatchNormalization
from keras.models import Sequential, Model
from keras.callbacks import EarlyStopping
from sklearn.metrics import  mean_squared_error

np.random.seed(1) # 固定隨機(jī)種子,使每次運(yùn)行結(jié)果固定
random.set_seed(1)


# 創(chuàng)建模型結(jié)構(gòu):輸入層的特征維數(shù)為13;1層k個(gè)神經(jīng)元的relu隱藏層;線性的輸出層;

for k in [5,20,50]: # 網(wǎng)格搜索超參數(shù):神經(jīng)元數(shù)k

model = Sequential()

model.add(BatchNormalization(input_dim=13)) # 輸入層 批標(biāo)準(zhǔn)化

model.add(Dense(k,
kernel_initializer='random_uniform', # 均勻初始化
activation='relu', # relu激活函數(shù)
kernel_regularizer=regularizers.l1_l2(l1=0.01, l2=0.01), # L1及L2 正則項(xiàng)
use_bias=True)) # 隱藏層

model.add(Dropout(0.1)) # dropout法

model.add(Dense(1,use_bias=True)) # 輸出層

  • 模型編譯設(shè)定學(xué)習(xí)目標(biāo)為(最小化)回歸預(yù)測損失mse,優(yōu)化算法為adam
model.compile(optimizer='adam', loss='mse')
  • 模型訓(xùn)練我們通過傳入訓(xùn)練集x,訓(xùn)練集標(biāo)簽y,使用fit(擬合)方法來訓(xùn)練模型,其中epochs為迭代次數(shù),并通過EarlyStopping及時(shí)停止在合適的epoch,減少過擬合;batch_size為每次epoch隨機(jī)采樣的訓(xùn)練樣本數(shù)目。
# 訓(xùn)練模型
history = model.fit(train_x,
train_y,
epochs=500, # 訓(xùn)練迭代次數(shù)
batch_size=50, # 每epoch采樣的batch大小
validation_split=0.1, # 從訓(xùn)練集再拆分驗(yàn)證集,作為早停的衡量指標(biāo)
callbacks=[EarlyStopping(monitor='val_loss', patience=20)], #早停法
verbose=False) # 不輸出過程


print("驗(yàn)證集最優(yōu)結(jié)果:",min(history.history['val_loss']))
model.summary() #打印模型概述信息
# 模型評估:擬合效果
plt.plot(history.history['loss'],c='blue') # 藍(lán)色線訓(xùn)練集損失
plt.plot(history.history['val_loss'],c='red') # 紅色線驗(yàn)證集損失
plt.show()
最后,這里簡單采用for循環(huán),實(shí)現(xiàn)類似網(wǎng)格搜索調(diào)整超參數(shù),驗(yàn)證了隱藏層的不同神經(jīng)元數(shù)目(超參數(shù)k)的效果。由驗(yàn)證結(jié)果來看,神經(jīng)元數(shù)目為50時(shí),損失可以達(dá)到10的較優(yōu)效果(可以繼續(xù)嘗試模型增加深度、寬度,達(dá)到過擬合的邊界應(yīng)該有更好的效果)。


注:本節(jié)使用的優(yōu)化方法較多(炫技ing),單純是為展示一遍各種深度學(xué)習(xí)的優(yōu)化tricks。模型并不是優(yōu)化方法越多越好,效果還是要實(shí)際問題具體驗(yàn)證。


2.4 模型評估及優(yōu)化

機(jī)器學(xué)習(xí)學(xué)習(xí)的目標(biāo)是極大化降低損失函數(shù),但這不僅僅是學(xué)習(xí)過程中對訓(xùn)練數(shù)據(jù)有良好的預(yù)測能力(極低的訓(xùn)練損失),根本上還在于要對新數(shù)據(jù)(測試集)能有很好的預(yù)測能力(泛化能力)。


  • 評估模型誤差的指標(biāo)
評估模型的預(yù)測誤差常用損失函數(shù)的大小來判斷,如回歸預(yù)測的均方損失。但除此之外,對于一些任務(wù),用損失函數(shù)作為評估指標(biāo)并不直觀,所以像分類任務(wù)的評估還常用f1-score,可以直接展現(xiàn)各種類別正確分類情況。


查準(zhǔn)率P:是指分類器預(yù)測為Positive的正確樣本(TP)的個(gè)數(shù)占所有預(yù)測為Positive樣本個(gè)數(shù)(TP FP)的比例;查全率R:是指分類器預(yù)測為Positive的正確樣本(TP)的個(gè)數(shù)占所有的實(shí)際為Positive樣本個(gè)數(shù)(TP FN)的比例。F1-score是查準(zhǔn)率P、查全率R的調(diào)和平均:


注:如分類任務(wù)的f1-score等指標(biāo)只能用于評估模型最終效果,因?yàn)樽鳛閷W(xué)習(xí)目標(biāo)時(shí)它們無法被高效地優(yōu)化,訓(xùn)練優(yōu)化時(shí)常用交叉熵作為其替代的分類損失函數(shù) (surrogate loss function)。


  • 評估擬合效果
評估模型擬合(學(xué)習(xí))效果,常用欠擬合、擬合良好、過擬合來表述,通常,擬合良好的模型有更好泛化能力,在未知數(shù)據(jù)(測試集)有更好的效果。


我們可以通過訓(xùn)練誤差及驗(yàn)證集誤差評估模型的擬合程度。從整體訓(xùn)練過程來看,欠擬合時(shí)訓(xùn)練誤差和驗(yàn)證集誤差均較高,隨著訓(xùn)練時(shí)間及模型復(fù)雜度的增加而下降。在到達(dá)一個(gè)擬合最優(yōu)的臨界點(diǎn)之后,訓(xùn)練誤差下降,驗(yàn)證集誤差上升,這個(gè)時(shí)候模型就進(jìn)入了過擬合區(qū)域。


  • 優(yōu)化擬合效果的方法
實(shí)踐中通常欠擬合不是問題,可以通過使用強(qiáng)特征及較復(fù)雜的模型提高學(xué)習(xí)的準(zhǔn)確度。而解決過擬合,即如何減少泛化誤差,提高泛化能力,通常才是優(yōu)化模型效果的重點(diǎn),常用的方法在于提高數(shù)據(jù)的質(zhì)量、數(shù)量以及采用適當(dāng)?shù)恼齽t化策略。


本節(jié)代碼

# 模型評估:擬合效果
import  matplotlib.pyplot as plt

plt.plot(history.history['loss'],c='blue') # 藍(lán)色線訓(xùn)練集損失
plt.plot(history.history['val_loss'],c='red') # 紅色線驗(yàn)證集損失
從訓(xùn)練集及驗(yàn)證集的損失來看,訓(xùn)練集、驗(yàn)證集損失都比較低,模型沒有過擬合現(xiàn)象。


# 模型評估:測試集預(yù)測結(jié)果
pred_y = model.predict(test_x)[:,0]

print("正確標(biāo)簽:",test_y)
print("模型預(yù)測:",pred_y )

print("實(shí)際與預(yù)測值的差異:",mean_squared_error(test_y,pred_y ))

#繪圖表示
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif'] = ['SimHei']
plt.rcParams['axes.unicode_minus'] = False

# 設(shè)置圖形大小
plt.figure(figsize=(8, 4), dpi=80)
plt.plot(range(len(test_y)), test_y, ls='-.',lw=2,c='r',label='真實(shí)值')
plt.plot(range(len(pred_y)), pred_y, ls='-',lw=2,c='b',label='預(yù)測值')

# 繪制網(wǎng)格
plt.grid(alpha=0.4, linestyle=':')
plt.legend()
plt.xlabel('number') #設(shè)置x軸的標(biāo)簽文本
plt.ylabel('房價(jià)') #設(shè)置y軸的標(biāo)簽文本

# 展示
plt.show()
評估測試集的預(yù)測結(jié)果,其mse損失為19.7,觀察測試集的實(shí)際值與預(yù)測值兩者的數(shù)值曲線是比較一致的!模型預(yù)測效果較好。


2.5 模型預(yù)測結(jié)果及解釋性

決策應(yīng)用是機(jī)器學(xué)習(xí)最終目的,對模型預(yù)測信息加以分析解釋,并應(yīng)用于實(shí)際的工作領(lǐng)域。


對于實(shí)際工作需要注意的是,工程上是結(jié)果導(dǎo)向,模型在線上運(yùn)行的效果直接決定模型的成敗,不僅僅包括其準(zhǔn)確程度、誤差等情況,還包括其運(yùn)行的速度(時(shí)間復(fù)雜度)、資源消耗程度(空間復(fù)雜度)、穩(wěn)定性的綜合考慮。


對于神經(jīng)網(wǎng)絡(luò)模型預(yù)測的分析解釋,我們有時(shí)需要知道學(xué)習(xí)的內(nèi)容,決策的過程是怎么樣的(模型的可解釋性)。一個(gè)可以解釋的AI模型(Explainable AI, 簡稱XAI)意味著運(yùn)作的透明,便于人類對于對AI決策的監(jiān)督及接納,以保證算法的公平性、安全性及隱私性,從而創(chuàng)造更加安全可靠的應(yīng)用。深度學(xué)習(xí)可解釋性常用方法有:LIME、LRP、SHAP等方法。


本節(jié)代碼

如下通過SHAP方法,對模型預(yù)測單個(gè)樣本的結(jié)果做出解釋,可見在這個(gè)樣本的預(yù)測中,CRIM犯罪率為0.006、RM平均房間數(shù)為6.575對于房價(jià)是負(fù)相關(guān)的。LSTAT弱勢群體人口所占比例為4.98對于房價(jià)的貢獻(xiàn)是正相關(guān)的...,在綜合這些因素后模型給出最終預(yù)測值。


import shap
import tensorflow as tf # tf版本<2.0

# 模型解釋性
background = test_x[np.random.choice(test_x.shape[0],100, replace=False)]
explainer = shap.DeepExplainer(model,background)
shap_values = explainer.shap_values(test_x) # 傳入特征矩陣X,計(jì)算SHAP值
# 可視化第一個(gè)樣本預(yù)測的解釋
shap.force_plot(explainer.expected_value, shap_values[0,:], test_x.iloc[0,:])




本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動(dòng) BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動(dòng)現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動(dòng)力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動(dòng)力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉