怎么做機器學習特征處理?3種機器學習監(jiān)督學習方法概述!
在下述的內(nèi)容中,小編將會對機器學習的相關消息予以報道,如果機器學習是您想要了解的焦點之一,不妨和小編共同閱讀這篇文章哦。
一、3種機器學習監(jiān)督學習方法
1.支持向量機
支持向量機是追求極致的,它要在所有的可行解里面,找到唯一的最優(yōu)解。在二維平面里,這個解是一條唯一的線,在三維空間里,這個解是一個唯一的面,那么,在N維空間里,這個解就是唯一的超平面了。而用于尋找這個解的樣本點,就稱之為支持向量。
核函數(shù)是支持向量機里的大殺器,與人們所說的“降維打擊”類似,核函數(shù)是要通過升維的方式去解決問題。如果在當下的困境里找不到答案,那就嘗試在更高的維度里去破局。
2.神經(jīng)網(wǎng)絡
神經(jīng)網(wǎng)絡引入了生物學里神經(jīng)元的概念。每一個神經(jīng)元都是簡單的,有輸入和權重,有閾值和輸出,但是用眾多神經(jīng)元搭建起多層網(wǎng)絡,網(wǎng)絡之間又相互聯(lián)系時,這個問題就變得復雜了。在2006年后,神經(jīng)網(wǎng)絡轉(zhuǎn)身為深度學習,成就了無數(shù)或神秘或偉大的商業(yè)故事。
在神經(jīng)網(wǎng)絡的訓練過程中,有一個很有意思的事情,就是局部最優(yōu)和全局最優(yōu)。模型訓練中容易陷入局部最優(yōu)的困境,停止搜索最優(yōu)解,就像我們很多時候做事情,只是做好了,但是并不夠好。為了解決這個問題,人們設計了模擬退火,隨機梯度下降等多種訓練策略。
3.集成學習
集成學習的理念,是“好而不同”。對于一個問題,如果通過單一模型始終給不出最優(yōu)解,不如集成幾個好而不同的子模型,可能會獲得性能優(yōu)異的效果。三個臭皮匠,勝過諸葛亮。每個臭皮匠都有不足,但各有各的優(yōu)點,而諸葛亮作為單一模型已是極致,卻仍有局限。
集成學習有兩個分支,如果子模型串行生成,則是Boost,如果子模型并行生成,則是Bagging。Boost強調(diào)的是一個一個上,針對前一個子模型的缺陷,通過下一個子模型去補足,xgBoost和GBDT都是其中的代表;Bagging強調(diào)的則是一起上,群架好過單挑,通過學習不同的樣本,生成不同的子模型。Bagging的一個變體隨機森林,便是這一類模型的優(yōu)秀代表。
二、機器學習特征處理
1.特征構建
特征構建是指從原始數(shù)據(jù)中人工的找出一些具有實際意義的特征。需要花時間去觀察原始數(shù)據(jù),思考問題的潛在形式和數(shù)據(jù)結構,對數(shù)據(jù)敏感性和機器學習實戰(zhàn)經(jīng)驗能幫助特征構建。除此之外,屬性分割和結合是特征構建時常使用的方法。特征構建是個非常麻煩的問題,書里面也很少提到具體的方法,需要對問題有比較深入的理解。
2.特征抽取
一些觀測數(shù)據(jù)如果直接建模,其原始狀態(tài)的數(shù)據(jù)太多。像圖像、音頻和文本數(shù)據(jù),如果將其看做是表格數(shù)據(jù),那么其中包含了數(shù)以千計的屬性。特征抽取是自動地對原始觀測降維,使其特征集合小到可以進行建模的過程。通常可采用主成分分析(PCA)、線性判別分析(LDA))等方法;對于圖像數(shù)據(jù),可以進行線(line)或邊緣(edge)的提取;根據(jù)相應的領域,圖像、視頻和音頻數(shù)據(jù)可以有很多數(shù)字信號處理的方法對其進行處理。
3.特征選擇
不同的特征對模型的準確度的影響不同,有些特征與要解決的問題不相關,有些特征是冗余信息,這些特征都應該被移除掉。特征選擇是自動地選擇出對于問題最重要的那些特征子集的過程。常用的特征選擇方法可以分為3類:過濾式(filter)、包裹式(wrapper)和嵌入式(embedding)。
總的來說,數(shù)據(jù)會存在各種各樣的問題,針對這些問題我們的特征工程給出了相應的解決辦法:
1. 特征解釋能力不足,我們可以嘗試使用特征構建,對數(shù)據(jù)進行升維來提升特征解釋能力;
2. 特征冗余,維度太高,噪聲太多,我們可以通過特征抽取和特征選擇,來對數(shù)據(jù)進行降維去噪,提煉特征。當然還有其他的特征處理方法,一般需要根據(jù)具體問題而定。
以上便是小編此次想要和大家共同分享的有關機器學習的內(nèi)容,如果你對本文內(nèi)容感到滿意,不妨持續(xù)關注我們網(wǎng)站喲。最后,十分感謝大家的閱讀,have a nice day!