學(xué)習(xí)器模型中一般有兩類參數(shù),一類是可以從數(shù)據(jù)中學(xué)習(xí)估計得到,還有一類參數(shù)時無法從數(shù)據(jù)中估計,只能靠人的經(jīng)驗進行設(shè)計指定,后者成為超參數(shù)。比如,支持向量機里面的C,Kernal,game;樸素貝葉斯里面的alpha等。
自動機器學(xué)習(xí)(AutoML)旨在通過讓一些通用步驟(如數(shù)據(jù)預(yù)處理、模型選擇和調(diào)整超參數(shù))自動化,來簡化機器學(xué)習(xí)中生成模型的過程。AutoML是指盡量不通過人來設(shè)定超參數(shù),而是使用某種學(xué)習(xí)機制,來調(diào)節(jié)這些超參數(shù)。這些學(xué)習(xí)機制包括傳統(tǒng)的貝葉斯優(yōu)化,進化算法,還有比較新的強化學(xué)習(xí)。當(dāng)我們提起AutoML時,我們更多地是說自動化數(shù)據(jù)準(zhǔn)備(即數(shù)據(jù)的預(yù)處理,數(shù)據(jù)的生成和選擇)和模型訓(xùn)練(模型選擇和超參數(shù)調(diào)優(yōu))。這個過程的每一步都有非常多的選項,根據(jù)我們遇到的問題,需要設(shè)定各種不同的選項。