傳統(tǒng)的機器學習模型和人工智能技術(shù)往往存在一個嚴重的缺陷:它們?nèi)狈Σ淮_定性的量化。這些模型通常提供點估計,而不考慮預測的不確定性。這種限制削弱了評估模型輸出可靠性的能力。此外,傳統(tǒng)的ML模型缺乏數(shù)據(jù),往往需要正確的標記數(shù)據(jù),因此,往往難以解決數(shù)據(jù)有限的問題。此外,這些模型缺乏將專家領(lǐng)域知識或先前信念納入模型的系統(tǒng)框架。如果沒有利用特定領(lǐng)域的洞察力的能力,模型可能會忽略數(shù)據(jù)中的關(guān)鍵細微差別,并傾向于無法發(fā)揮其潛力。毫升模型變得越來越復雜和不透明,雖然越來越多的人要求在根據(jù)數(shù)據(jù)和大赦國際作出的決定中增加透明度和問責制。
概率方案擬訂:應(yīng)對這些挑戰(zhàn)的解決辦法
概率編程提供了一個解決這些挑戰(zhàn)的建?？蚣?。其核心在于貝葉斯統(tǒng)計學,它與統(tǒng)計學的頻率解釋不同。
貝葉斯統(tǒng)計
在頻率論統(tǒng)計中,概率被解釋為一個事件的長期相對頻率。數(shù)據(jù)被認為是隨機的,是從固定定義分布中取樣的結(jié)果。因此,測量中的噪聲與采樣的變化有關(guān).頻繁的人相信概率是存在的,是固定的,無限的實驗會收斂到固定的值。頻率論方法不給參數(shù)分配概率分布,它們對不確定性的解釋源于估計值的長期頻率屬性,而不是關(guān)于參數(shù)值的顯式概率語句。
在…中?貝葉斯統(tǒng)計 ,概率被解釋為某一特定信念中的不確定性的尺度。數(shù)據(jù)被認為是固定的,而系統(tǒng)的未知參數(shù)被看作是隨機的變量,并且使用概率分布來建模。貝葉斯方法捕捉參數(shù)本身的不確定性,從而提供了一種更直觀和靈活的不確定性量化方法。
頻率論者與貝葉斯統(tǒng)計
概率機器學習
在頻率型XML中,模型參數(shù)被看作是固定的,并通過最大似然估計來估計,在這種情況下,似然函數(shù)量化了觀察統(tǒng)計模型數(shù)據(jù)的概率。多邊環(huán)境協(xié)議尋求參數(shù)點估計,最大化這一概率。執(zhí)行《多邊環(huán)境法》:
· 假設(shè)一個模型和基礎(chǔ)模型參數(shù)。
· 推導基于假定模型的可能性函數(shù).
· 優(yōu)化概率函數(shù)以獲得參數(shù)的點估計.
因此,包括深度學習在內(nèi)的頻率論模型依賴于優(yōu)化,通常是基于梯度的優(yōu)化,作為其基本工具。
相反,貝葉斯方法模型未知參數(shù)及其與概率分布的關(guān)系 使用貝葉斯定理來計算和更新這些概率,因為我們獲得了新的數(shù)據(jù)。
貝葉斯定理: "貝葉斯法則告訴我們?nèi)绾螐囊粋€連接中推導出條件概率,條件作用告訴我們?nèi)绾卫硇缘馗挛覀兊男拍?而更新信念是學習和推理的全部內(nèi)容"[2]。
這是一個簡單但強大的方程。
· 先前表示對未知參數(shù)的最初信念
· 可能性表示基于假定模型的數(shù)據(jù)的概率
· 邊緣概率是模型證據(jù),是一個規(guī)范化系數(shù).
· 后向分布代表了我們對參數(shù)的最新認識,包括了先前的知識和觀察到的證據(jù)。
貝葉斯機器學習推理是貝葉斯機器學習的基本工具. 后向分布所代表的參數(shù)分布 用于推理,提供了一個更全面的不確定性的理解。
運行中的貝葉斯更新: 下面的圖展示了一個簡單的拋硬幣實驗的后向分布,它跨越不同的樣本尺寸和兩個不同的前向分布。這個可視化提供了對不同樣本尺寸和先前信念的組合如何影響結(jié)果的后向分布的洞察力。
樣本尺寸和樣本大小對后向分布的影響
如何模擬后向分布
在大多數(shù)情況下,表面上簡單的后向分布是難以計算的。特別是分母,即。邊緣似然積分往往是可插入的,特別是在使用更高維度參數(shù)空間時。在大多數(shù)情況下,沒有封閉形式的解,數(shù)值積分方法也是計算密集型的。為了應(yīng)對這個挑戰(zhàn)我們依靠一類特殊的算法 蒙特卡洛 模擬后向分布的模擬。這里的想法是從后面的分布中取樣,而不是顯式地建模,用這些樣本來表示模型參數(shù)的分布
馬爾可夫鏈蒙特卡洛(MMC)
" MMC方法包括一類從概率分布抽樣的算法.通過構(gòu)造以理想分布為均衡分布的馬爾可夫鏈,可以通過記錄來自該鏈的狀態(tài)來獲得所需分布的樣本 "[3]。一些常用的McMC采樣器是:
· 黑斯廷斯大都會
· 吉布斯采樣器
· 哈密頓指數(shù)蒙特卡洛(HMC)
· 無U型采樣器(堅果)
· 連續(xù)蒙特卡洛
概率編程
概率規(guī)劃是貝葉斯統(tǒng)計的方案編制框架。它涉及語言的語法和語義的發(fā)展,這些語言表示條件推理問題和開發(fā)那些推理問題的"解決者"。 從本質(zhì)上講,概率編程是貝葉斯建模的工具,而自動分化工具則是經(jīng)典的機器學習和深度學習模型 [2].
概率編程語言的生態(tài)系統(tǒng)多種多樣,每種語言都有自己的語法、語義和功能。一些最流行的語言包括:
· [4]: 巴格斯是最早的概率編程語言之一,以其方便用戶的接口和支持廣泛的概率模型而聞名。實現(xiàn)了吉布斯采樣和其他馬爾可夫鏈蒙特卡羅方法的推理.
· [5]: JGG是貝葉斯分層建模的專用語言,特別適合于嵌套結(jié)構(gòu)的復雜模型。它利用吉布斯采樣算法進行后推理。
· 斯坦: 一種概率編程語言,以其表達建模語法和有效的抽樣算法而聞名。斯坦被廣泛應(yīng)用于學術(shù)界和工業(yè)界的各種貝葉斯建模任務(wù)。 斯坦在兩個主要方面不同于小蟲和小蟲。首先,斯坦是基于一種新的強制性概率編程語言,它比基于錯誤或JTAG的聲明性圖形建模語言更靈活和更有表現(xiàn)力,其方式包括聲明帶有類型的變量,支持本地變量和條件語句。第二,斯坦的馬爾可夫鏈蒙特卡洛(MMC)技術(shù)是基于哈密頓量蒙特卡洛(HMC),這是一個比吉布斯取樣或米球-黑斯廷斯更高效和健壯的采樣器,用于復雜的后柱模型" [6].
· 巴耶茲達b: BYESDB是一個用于大規(guī)模數(shù)據(jù)分析和概率數(shù)據(jù)庫查詢的概率編程平臺。它使用戶能夠使用sql類查詢在關(guān)系數(shù)據(jù)庫上執(zhí)行概率推斷[7]
· 小冊子3: PYMC3是一個用于概率編程的比頓庫,它為構(gòu)建和分析概率模型提供了一個直觀和靈活的接口。它利用先進的采樣算法如哈密頓數(shù)蒙特卡羅(HMC)和自動分化變分推理(ADVI)進行推理[8]。
· 張力流概率: " 張力流概率(TFP)是一個構(gòu)建在張力流基礎(chǔ)上的巨蛇庫,它可以很容易地將概率模型與現(xiàn)代硬件(TPU、GPU)上的深入學習結(jié)合起來。 [9] .
· 煙火: PERO是一種通用的概率編程語言(PPL),它寫在PUTUT的后端?？梢造`活和富有表現(xiàn)力的深度概率建模,統(tǒng)一現(xiàn)代深度學習和貝葉斯建模的最佳. [10].
這些語文共有一個共同的工作流程,概述如下:
1. 示范定義: 該模型定義了數(shù)據(jù)生成過程、潛在參數(shù)及其相互關(guān)系。這一步驟需要仔細考慮基本制度和對其所作的假設(shè)。 行為 .
2. 事先分發(fā)說明: 定義模型中未知參數(shù)的前置分布。這些前科在觀察任何數(shù)據(jù)之前編碼從業(yè)者的信念、領(lǐng)域或有關(guān)參數(shù)的事先知識。
3. 可能性說明: 描述可能性函數(shù),表示受未知參數(shù)影響的觀測數(shù)據(jù)的概率分布.可能性函數(shù)量化模型預測與觀測數(shù)據(jù)之間的一致性。
4. 后分布推斷: 用抽樣算法近似的模型參數(shù)的后分布所觀察到的數(shù)據(jù)。這通常涉及運行馬爾可夫鏈蒙特卡羅(MMC)或變分推理(VI)算法從后分布產(chǎn)生樣本。
案例研究:預測股票指數(shù)波動性
在本研究中,我們將采用貝葉斯建模技術(shù)來預測股票指數(shù)的波動性。這里的波動性是衡量股票價格隨時間變化的程度,是評估某一股票相關(guān)風險的一個重要指標。
數(shù)據(jù) :為了進行分析,我們將利用標準普爾500指數(shù)的歷史數(shù)據(jù)。標準普爾500指數(shù)是一種廣泛使用的基準指數(shù),用來跟蹤美國500只大盤股票的表現(xiàn)。通過研究指數(shù)價格隨時間變化的百分比變化,我們可以深入了解其波動性。
標準普爾500-股價和百分比變化
從上面的情節(jié)可以看出,時間序列----連續(xù)幾天間的價格變化:
· 不變平均值
· 隨著時間的推移改變差異,即:,時間序列顯示出異質(zhì)性
建模異變性: "在統(tǒng)計學中,如果所有隨機變量都有相同的有限方差,那么隨機變量的序列就是同構(gòu)的;這也被稱為方差的均勻性?；パa的概念被稱為異質(zhì)性,也被稱為方差的異質(zhì)性"[11]。 自回歸條件異質(zhì)性 模型是專門設(shè)計來解決時間序列數(shù)據(jù)中的異變性。
貝葉斯,經(jīng)常采用拱形模型
貝葉斯建模的主要好處包括能夠在模型參數(shù)和預測中納入先前的信息和量化不確定性。在數(shù)據(jù)有限的情況下,以及在具備先前知識的情況下,這些方法特別有用。
總之,貝葉斯建模和概率編程為解決傳統(tǒng)機械電子學習方法的局限性提供了強有力的工具。這些技術(shù)采用了不確定性量化,吸收了先前的知識,并提供了透明的推理機制,從而使數(shù)據(jù)科學家能夠在復雜的現(xiàn)實世界情景中做出更明智的決定。
下載文檔
