怎么做機器學習特征處理?3種機器學習監(jiān)督學習方法概述!

在下述的內(nèi)容中，小編將會對機器學習的相關消息予以報道，如果機器學習是您想要了解的焦點之一，不妨和小編共同閱讀這篇文章哦。

一、3種機器學習監(jiān)督學習方法

1.支持向量機

支持向量機是追求極致的，它要在所有的可行解里面，找到唯一的最優(yōu)解。在二維平面里，這個解是一條唯一的線，在三維空間里，這個解是一個唯一的面，那么，在N維空間里，這個解就是唯一的超平面了。而用于尋找這個解的樣本點，就稱之為支持向量。

核函數(shù)是支持向量機里的大殺器，與人們所說的“降維打擊”類似，核函數(shù)是要通過升維的方式去解決問題。如果在當下的困境里找不到答案，那就嘗試在更高的維度里去破局。

2.神經(jīng)網(wǎng)絡

神經(jīng)網(wǎng)絡引入了生物學里神經(jīng)元的概念。每一個神經(jīng)元都是簡單的，有輸入和權重，有閾值和輸出，但是用眾多神經(jīng)元搭建起多層網(wǎng)絡，網(wǎng)絡之間又相互聯(lián)系時，這個問題就變得復雜了。在2006年后，神經(jīng)網(wǎng)絡轉(zhuǎn)身為深度學習，成就了無數(shù)或神秘或偉大的商業(yè)故事。

在神經(jīng)網(wǎng)絡的訓練過程中，有一個很有意思的事情，就是局部最優(yōu)和全局最優(yōu)。模型訓練中容易陷入局部最優(yōu)的困境，停止搜索最優(yōu)解，就像我們很多時候做事情，只是做好了，但是并不夠好。為了解決這個問題，人們設計了模擬退火，隨機梯度下降等多種訓練策略。

3.集成學習

集成學習的理念，是“好而不同”。對于一個問題，如果通過單一模型始終給不出最優(yōu)解，不如集成幾個好而不同的子模型，可能會獲得性能優(yōu)異的效果。三個臭皮匠，勝過諸葛亮。每個臭皮匠都有不足，但各有各的優(yōu)點，而諸葛亮作為單一模型已是極致，卻仍有局限。

集成學習有兩個分支，如果子模型串行生成，則是Boost，如果子模型并行生成，則是Bagging。Boost強調(diào)的是一個一個上，針對前一個子模型的缺陷，通過下一個子模型去補足，xgBoost和GBDT都是其中的代表;Bagging強調(diào)的則是一起上，群架好過單挑，通過學習不同的樣本，生成不同的子模型。Bagging的一個變體隨機森林，便是這一類模型的優(yōu)秀代表。

二、機器學習特征處理

1.特征構建

特征構建是指從原始數(shù)據(jù)中人工的找出一些具有實際意義的特征。需要花時間去觀察原始數(shù)據(jù)，思考問題的潛在形式和數(shù)據(jù)結構，對數(shù)據(jù)敏感性和機器學習實戰(zhàn)經(jīng)驗能幫助特征構建。除此之外，屬性分割和結合是特征構建時常使用的方法。特征構建是個非常麻煩的問題，書里面也很少提到具體的方法，需要對問題有比較深入的理解。

2.特征抽取

一些觀測數(shù)據(jù)如果直接建模，其原始狀態(tài)的數(shù)據(jù)太多。像圖像、音頻和文本數(shù)據(jù)，如果將其看做是表格數(shù)據(jù)，那么其中包含了數(shù)以千計的屬性。特征抽取是自動地對原始觀測降維，使其特征集合小到可以進行建模的過程。通常可采用主成分分析(PCA)、線性判別分析(LDA))等方法;對于圖像數(shù)據(jù)，可以進行線(line)或邊緣(edge)的提取;根據(jù)相應的領域，圖像、視頻和音頻數(shù)據(jù)可以有很多數(shù)字信號處理的方法對其進行處理。

3.特征選擇

不同的特征對模型的準確度的影響不同，有些特征與要解決的問題不相關，有些特征是冗余信息，這些特征都應該被移除掉。特征選擇是自動地選擇出對于問題最重要的那些特征子集的過程。常用的特征選擇方法可以分為3類：過濾式(filter)、包裹式(wrapper)和嵌入式(embedding)。

總的來說，數(shù)據(jù)會存在各種各樣的問題，針對這些問題我們的特征工程給出了相應的解決辦法：

1. 特征解釋能力不足，我們可以嘗試使用特征構建，對數(shù)據(jù)進行升維來提升特征解釋能力;

2. 特征冗余，維度太高，噪聲太多，我們可以通過特征抽取和特征選擇，來對數(shù)據(jù)進行降維去噪，提煉特征。當然還有其他的特征處理方法，一般需要根據(jù)具體問題而定。

以上便是小編此次想要和大家共同分享的有關機器學習的內(nèi)容，如果你對本文內(nèi)容感到滿意，不妨持續(xù)關注我們網(wǎng)站喲。最后，十分感謝大家的閱讀，have a nice day!