在工業(yè)界中,數(shù)據(jù)科學(xué)或機(jī)器學(xué)習(xí)的主要焦點(diǎn)是更偏“應(yīng)用”地解決復(fù)雜的現(xiàn)實世界至關(guān)重要的問題,而不是理論上有效地應(yīng)用這些模型于正確的數(shù)據(jù)。機(jī)器學(xué)習(xí)模型本身由算法組成,該算法試圖從數(shù)據(jù)中學(xué)習(xí)潛在模式和關(guān)系,而無需硬編碼固定規(guī)則。因此,解釋模型如何對業(yè)務(wù)起作用總是會帶來一系列挑戰(zhàn)。有一些領(lǐng)域的行業(yè),特別是在保險或銀行等金融領(lǐng)域,數(shù)據(jù)科學(xué)家通常最終不得不使用更傳統(tǒng)的機(jī)器學(xué)習(xí)模型(線性或基于樹的)。原因是模型可解釋性對于企業(yè)解釋模型所采取的每個決策非常重要。
可解釋性是指人類能夠理解決策原因的程度。機(jī)器學(xué)習(xí)模型的可解釋性越高,人們就越容易理解為什么做出某些決定或預(yù)測。模型可解釋性指對模型內(nèi)部機(jī)制的理解以及對模型結(jié)果的理解。其重要性體現(xiàn)在:建模階段,輔助開發(fā)人員理解模型,進(jìn)行模型的對比選擇,必要時優(yōu)化調(diào)整模型;在投入運(yùn)行階段,向業(yè)務(wù)方解釋模型的內(nèi)部機(jī)制,對模型結(jié)果進(jìn)行解釋。比如基金推薦模型,需要解釋:為何為這個用戶推薦某支基金。