[導(dǎo)讀] 人工智能在時(shí)下屬于非常熱門的技術(shù)，工作了10余年，對(duì)此領(lǐng)域卻了解甚少。所謂不進(jìn)則退，慢進(jìn)亦退！長江后浪推前浪，前浪死在沙灘上，嗯，我還是要掙扎一下，所以下決心在工作之余花時(shí)間學(xué)習(xí)相關(guān)技術(shù)，以免被時(shí)代遺棄。將間斷更新分享個(gè)人學(xué)習(xí)筆記。文中觀點(diǎn)錯(cuò)誤一定很多，懇請指正。本文從整理一下機(jī)器學(xué)習(xí)的動(dòng)因、由來、概念及理論要點(diǎn)。

機(jī)器學(xué)習(xí)是啥

機(jī)器學(xué)習(xí)(Machine Learning)是人工智能（AI)的一種形式，它使系統(tǒng)能夠從數(shù)據(jù)中學(xué)習(xí)而不是通過顯式編程來學(xué)習(xí)。但是，機(jī)器學(xué)習(xí)不是一個(gè)簡單的過程。隨著算法吸收訓(xùn)練數(shù)據(jù)，然后可以基于該數(shù)據(jù)生成更精確的模型。機(jī)器學(xué)習(xí)模型是使用數(shù)據(jù)訓(xùn)練機(jī)器學(xué)習(xí)算法時(shí)生成的輸出。訓(xùn)練后，為模型提供輸入時(shí)，將為您提供輸出。例如，預(yù)測算法將創(chuàng)建一個(gè)預(yù)測模型。然后，當(dāng)您向預(yù)測模型提供數(shù)據(jù)時(shí)，您將收到基于訓(xùn)練模型的數(shù)據(jù)的預(yù)測 。

比如吳恩達(dá)講授線性回歸模型中的房價(jià)預(yù)測模型，就是利用現(xiàn)有的數(shù)據(jù)集，來訓(xùn)練線性估計(jì)器的參數(shù)。然后對(duì)于新輸入的參數(shù)來預(yù)測房價(jià)，當(dāng)然這種預(yù)測是僅有一定準(zhǔn)確度。

所以人工智能系統(tǒng)就是機(jī)器自己能獲取知識(shí)的能力，也即從原始數(shù)據(jù)中提取模式的能力

---<<深度學(xué)習(xí)>> Ian Goodfellow

機(jī)器學(xué)習(xí)是一種將信息轉(zhuǎn)化為知識(shí)的工具。在過去的50年中，數(shù)據(jù)激增。除非我們對(duì)其進(jìn)行分析并找到隱藏在其中的模式，否則這些海量數(shù)據(jù)是無用的。機(jī)器學(xué)習(xí)技術(shù)用于在復(fù)雜數(shù)據(jù)中自動(dòng)找到有價(jià)值的基礎(chǔ)模式，否則我們將很難發(fā)現(xiàn)這些模式。隱藏的問題模式和知識(shí)可用于預(yù)測未來事件并執(zhí)行各種復(fù)雜的決策。

所謂模式，是其內(nèi)在的客觀規(guī)律，用數(shù)學(xué)描述就是其數(shù)學(xué)模型。數(shù)學(xué)是工具。

傳統(tǒng)編程，軟件工程將人工創(chuàng)建的規(guī)則與數(shù)據(jù)結(jié)合起來，以解決問題。相反，機(jī)器學(xué)習(xí)使用數(shù)據(jù)和答案來發(fā)現(xiàn)問題背后的規(guī)則。所謂數(shù)據(jù)和答案，是指已知的樣本數(shù)據(jù)集參數(shù)之間的關(guān)系（個(gè)人理解）。

機(jī)器學(xué)習(xí)干啥

機(jī)器學(xué)習(xí)主要解決四大類問題：

• 分類(Categorize): 對(duì)人或事物進(jìn)行分類。對(duì)于應(yīng)用實(shí)例而言，如電影分類，抓取電影的鏡頭，分析出是電影是愛情片/動(dòng)作片/恐怖片等。
• 預(yù)測(Predict)：根據(jù)確定的模式預(yù)測可能的結(jié)果或行動(dòng)。舉一個(gè)工業(yè)儀器領(lǐng)域的應(yīng)用例子，比如測量介質(zhì)粘度的傳感器，我們大概知道最終測量的粘度主要與傳感器采集到的電壓信號(hào)相關(guān)，但是同時(shí)還與介質(zhì)的溫度相關(guān)，介質(zhì)內(nèi)壓強(qiáng)相關(guān)，但是沒有準(zhǔn)確的數(shù)據(jù)模型，那么可以通過實(shí)驗(yàn)獲得這些參數(shù)的樣本集，同時(shí)通過其他方法測定（比如毛細(xì)管法）對(duì)應(yīng)參數(shù)的粘度，那么根據(jù)這些樣本集，可以通過線性或非線性模型方法訓(xùn)練出其模型，然后當(dāng)采集到新的電壓、溫度、壓力時(shí)，可以預(yù)測出介質(zhì)的粘度。
• 識(shí)別(Identify)：找出迄今未知的模式和關(guān)系。比如語音識(shí)別，人臉識(shí)別等。
• 檢測(Detect):檢測異?；蛞馔庑袨?。比如安防領(lǐng)域通過攝像頭檢測出一些現(xiàn)象然后通過模型算法計(jì)算出異?；蛘咭馔獾母怕?。

簡而言之，機(jī)器學(xué)習(xí)特別適合以下問題：

• 適用的關(guān)聯(lián)或規(guī)則可能是憑直覺獲得的，但不容易用簡單的邏輯規(guī)則編寫或描述。
• 定義了潛在的輸出或操作，但是要采取什么操作取決于不同的條件，這些條件在事件發(fā)生之前無法預(yù)測或惟一地確定。
• 準(zhǔn)確性比解釋或可解釋性更重要。
• 樣本數(shù)據(jù)對(duì)于傳統(tǒng)的分析技術(shù)來說無法滿足需求時(shí)。具體來說，比如寬數(shù)據(jù)(與記錄數(shù)量相比，每個(gè)記錄中有大量數(shù)據(jù)點(diǎn)或?qū)傩缘臄?shù)據(jù)集)和高度相關(guān)數(shù)據(jù)(具有相似或密切相關(guān)值的數(shù)據(jù))可能會(huì)給傳統(tǒng)的分析方法帶來問題。

為什么需要機(jī)器學(xué)習(xí)

需求驅(qū)動(dòng)，還是那句話。需求驅(qū)動(dòng)技術(shù)不斷向前發(fā)展。比如這樣一些場景：

• 機(jī)器學(xué)習(xí)還可以根據(jù)病人的基因構(gòu)成、人口統(tǒng)計(jì)學(xué)特征和心理特征，來決定哪種治療方法對(duì)病人最有效。
• 一個(gè)經(jīng)過練習(xí)的機(jī)器學(xué)習(xí)算法可以在擁擠的機(jī)場場景中識(shí)別出一個(gè)已知的“相關(guān)人員”的臉，從而阻止這個(gè)人登機(jī)。
• 社交媒體平臺(tái)利用機(jī)器學(xué)習(xí)來自動(dòng)標(biāo)記人，并在上傳的照片中識(shí)別常見的物體，如地標(biāo)。
• 機(jī)器學(xué)習(xí)可以幫助發(fā)現(xiàn)哪些基因與特定的疾病途徑有關(guān)。
• 機(jī)器學(xué)習(xí)可以識(shí)別從A點(diǎn)到B點(diǎn)的最佳路線，預(yù)測交通狀況和旅行時(shí)間，并根據(jù)當(dāng)前不斷變化的路況預(yù)測最佳路線。馬上就能想到導(dǎo)航軟件。
• 比如如火如荼的智能駕駛，汽車的主動(dòng)安全
• .......

為什么這些待解決的問題是機(jī)器學(xué)習(xí)問題呢？

以智能駕駛為例：

駕駛是一個(gè)復(fù)雜但范圍廣泛的問題。實(shí)際上，車輛可能會(huì)執(zhí)行有限的操作：啟動(dòng)，停止，前進(jìn)，后退，轉(zhuǎn)彎，加速和減速。然而采取任何行動(dòng)的決定會(huì)受到多種因素的影響，包括但不限于道路狀況，天氣狀況，其他車輛的存在和行為，兩腳人及其四腳朋友以及道路規(guī)則-只是為了 僅舉幾例。盡管駕駛員本能地即時(shí)評(píng)估所有這些輸入，但不可能為每種可能的組合捕獲離散的規(guī)則。

機(jī)器學(xué)習(xí)基礎(chǔ)術(shù)語

• 數(shù)據(jù)集（Dataset）: 一組數(shù)據(jù)樣本，其中包含對(duì)解決問題很重要的特征。
• 特征（Feature）: 幫助我們理解問題的重要數(shù)據(jù)片段。這些信息被輸入到機(jī)器學(xué)習(xí)算法中以幫助它學(xué)習(xí)。
• 模型（Model）:機(jī)器學(xué)習(xí)算法學(xué)習(xí)到的現(xiàn)象的表示(內(nèi)部模型)。它從訓(xùn)練中顯示的數(shù)據(jù)中學(xué)習(xí)這一點(diǎn)。這個(gè)模型是你訓(xùn)練一個(gè)算法后得到的輸出。例如，對(duì)決策樹算法進(jìn)行訓(xùn)練，生成決策樹模型。
• 擬合(Fitting)：構(gòu)建模型以描述數(shù)據(jù)集的特征。比如常見的最小二乘法擬合。線性回歸就是我們前面說過的房價(jià)求解問題。如何擬合出一條直線最佳匹配我所有的數(shù)據(jù)？一般使用“最小二乘法”來求解?！白钚《朔ā钡乃枷胧沁@樣的，假設(shè)我們擬合出的直線代表數(shù)據(jù)的真實(shí)值，而觀測到的數(shù)據(jù)代表擁有誤差的值。為了盡可能減小誤差的影響，需要求解一條直線使所有誤差的平方和最小。最小二乘法將最優(yōu)問題轉(zhuǎn)化為求函數(shù)極值問題。函數(shù)極值在數(shù)學(xué)上我們一般會(huì)采用求導(dǎo)數(shù)為0的方法。但這種做法并不適合計(jì)算機(jī)，可能求解不出來，也可能計(jì)算量太大。
• 過擬合(Over Fitting):是指模型過度的擬合了訓(xùn)練集，而在其他數(shù)據(jù)集上擬合程度較差。過擬合會(huì)導(dǎo)致高方差（Variance）（即為不同訓(xùn)練集得到的模型的輸出與這些模型期望輸出的差異）
• 欠擬合(Owe Fitting):是指模型沒有很好地捕捉到數(shù)據(jù)特征，不能夠很好地?cái)M合數(shù)據(jù)。欠擬合的表現(xiàn)為其在訓(xùn)練集表現(xiàn)較差，在測試集表現(xiàn)同樣較差。欠擬合會(huì)導(dǎo)致高偏差（Bias） （即為模型的期望輸出與其真實(shí)輸出之間的差異）
• 泛化(generalization):是指一個(gè)機(jī)器學(xué)習(xí)算法對(duì)于沒有見過的樣本的識(shí)別能力。我們也叫做舉一反三的能力，或者叫做學(xué)以致用的能力。
• 損失函數(shù)(Loss/cost Function):損失函數(shù)定義了擬合結(jié)果和真實(shí)結(jié)果之間的差異，作為優(yōu)化的目標(biāo)直接關(guān)系模型訓(xùn)練的好壞。
• 超參數(shù)(hyper-parameters):在機(jī)器學(xué)習(xí)的上下文中，超參數(shù)是在開始學(xué)習(xí)過程之前設(shè)置值的參數(shù)，而不是通過訓(xùn)練得到的參數(shù)數(shù)據(jù)。通常情況下，需要對(duì)超參數(shù)進(jìn)行優(yōu)化，給學(xué)習(xí)機(jī)選擇一組最優(yōu)超參數(shù)，以提高學(xué)習(xí)的性能和效果。
• .......

機(jī)器學(xué)習(xí)過程

機(jī)器學(xué)習(xí)的過程分為下圖這么幾大步驟：

1. 樣本數(shù)據(jù)收集:收集算法將學(xué)習(xí)的數(shù)據(jù)樣本集中?？梢酝ㄟ^儀器手段收集相關(guān)的數(shù)據(jù)，比如前文描述的粘度計(jì)，則可以利用多通道采集設(shè)備同時(shí)采集溫度、電壓，同時(shí)利用毛細(xì)管物理法測定介質(zhì)粘度（這種方法相對(duì)較準(zhǔn)確）。
2. 數(shù)據(jù)準(zhǔn)備:格式化并將數(shù)據(jù)設(shè)計(jì)成最佳格式，提取重要特征并進(jìn)行降維。所謂降維個(gè)人理解是相關(guān)性分析。
3. 訓(xùn)練:也被稱為模型擬合階段，這是機(jī)器學(xué)習(xí)算法通過顯示已經(jīng)收集和準(zhǔn)備的數(shù)據(jù)來實(shí)際學(xué)習(xí)的階段。
4. 評(píng)估:測試模型，看看它執(zhí)行得如何。所謂的過擬合/欠擬合就在這里可以得到體現(xiàn)。利用一些數(shù)學(xué)指標(biāo)，比如標(biāo)準(zhǔn)差、精度、代價(jià)曲線等等進(jìn)行定量度量模型是否滿足要求。
5. 參數(shù)調(diào)優(yōu):微調(diào)模型，使其性能最大化。主要調(diào)整模型的參數(shù)，在驗(yàn)證調(diào)整的結(jié)果。

這個(gè)過程一般會(huì)在設(shè)備自動(dòng)完成，但是有的比如邊緣計(jì)算，則會(huì)將模型訓(xùn)練利用離線訓(xùn)練，最后部署在嵌入式設(shè)備中進(jìn)行實(shí)際運(yùn)行。

理論知識(shí)

起源

分析引擎編織代數(shù)模式，就像提花編織花朵和葉子一樣— Ada Lovelace

計(jì)算的創(chuàng)始人之一，也許是第一位計(jì)算機(jī)程序員Ada Lovelace，意識(shí)到世界上任何事物都可以用數(shù)學(xué)來描述。

更重要的是，這意味著可以創(chuàng)建一個(gè)數(shù)學(xué)公式來推導(dǎo)代表任何現(xiàn)象的關(guān)系。艾達(dá)·洛夫萊斯意識(shí)到，機(jī)器有潛力在不需要人類幫助的情況下了解世界。

大約200年后，這些基本思想對(duì)機(jī)器學(xué)習(xí)至關(guān)重要。不管問題是什么，它的信息都可以作為數(shù)據(jù)點(diǎn)繪制到圖上。然后，機(jī)器學(xué)習(xí)試圖找到隱藏在原始信息中的數(shù)學(xué)模式和關(guān)系。

概率論

概率論是一種有序的觀點(diǎn)……從數(shù)據(jù)中得出的推論只不過是根據(jù)相關(guān)的新信息對(duì)這種觀點(diǎn)進(jìn)行的修正而已——托馬斯·貝葉斯

注：圖片中，是概率論中一個(gè)非常重要的公式：全概率公式

另一位數(shù)學(xué)家托馬斯·貝葉斯(Thomas Bayes)創(chuàng)立了概率論中至關(guān)重要的思想，這些思想在機(jī)器學(xué)習(xí)中得到了體現(xiàn)。如果閱讀機(jī)器學(xué)習(xí)的理論書籍，你可以在很多地方見到貝葉斯這個(gè)名詞。

真實(shí)世界中所有發(fā)生的事情都帶有不確定性。機(jī)器學(xué)習(xí)的基礎(chǔ)是概率的貝葉斯解釋。貝葉斯概率意味著我們認(rèn)為概率是量化一個(gè)事件的不確定性。因此，我們必須根據(jù)事件的可用信息來確定概率，而不是計(jì)算重復(fù)試驗(yàn)的次數(shù)。例如，在預(yù)測一場足球比賽時(shí)，貝葉斯方法將使用相關(guān)信息，如當(dāng)前形式、聯(lián)賽排名和首發(fā)球隊(duì)，而不是計(jì)算曼聯(lián)戰(zhàn)勝利物浦的總次數(shù)。

采用這種方法的好處是，概率仍然可以分配給稀有事件，因?yàn)闆Q策過程是基于相關(guān)特征和推理的。

機(jī)器學(xué)習(xí)方法

在進(jìn)行機(jī)器學(xué)習(xí)時(shí)可以采用許多方法。它們通常被分為以下區(qū)域。監(jiān)督和無監(jiān)督是常見的方法。半監(jiān)督和強(qiáng)化學(xué)習(xí)是較新的和更復(fù)雜的，但已顯示出其威力。

無免費(fèi)午餐定理在機(jī)器學(xué)習(xí)中很有名。它指出，沒有一種算法可以適用于所有任務(wù)。你試圖解決的每個(gè)任務(wù)都有自己的特點(diǎn)。因此，有許多算法和方法來適應(yīng)每個(gè)問題的個(gè)別特性。更多類型的機(jī)器學(xué)習(xí)和人工智能將不斷被引入，以最適合不同的問題。

監(jiān)督學(xué)習(xí)

定義：在監(jiān)督學(xué)習(xí)中，目標(biāo)是學(xué)習(xí)一組輸入和輸出之間的映射(規(guī)則)。

例如，輸入可以是天氣預(yù)報(bào)，輸出將是海灘的游客。監(jiān)督學(xué)習(xí)的目標(biāo)是學(xué)習(xí)描述溫度和海灘游客數(shù)量之間關(guān)系的映射?；蛘咔懊嬲劦降恼扯扔?jì)關(guān)鍵擬合也算是一個(gè)實(shí)例。

在學(xué)習(xí)過程中，過去的輸入和輸出對(duì)被標(biāo)記的數(shù)據(jù)被提供給模型，以教它如何表現(xiàn)，因此，“監(jiān)督”學(xué)習(xí)。對(duì)于海灘的例子，新的輸入是輸入預(yù)測溫度，然后機(jī)器學(xué)習(xí)算法將輸出未來游客數(shù)量的預(yù)測。

當(dāng)然實(shí)際應(yīng)用應(yīng)該還需考慮其他相關(guān)因素，例如政治因素、機(jī)票價(jià)格、法定假日等等。

在監(jiān)督學(xué)習(xí)中要注意的一個(gè)副作用是，提供的監(jiān)督會(huì)給學(xué)習(xí)帶來偏差。該模型只能精確地模仿它所顯示的內(nèi)容，因此展示它可靠、無偏見的示例是非常重要的。而且，監(jiān)督學(xué)習(xí)在學(xué)習(xí)之前通常需要大量的數(shù)據(jù)。獲得足夠可靠的標(biāo)記數(shù)據(jù)通常是使用監(jiān)督學(xué)習(xí)中最困難和最昂貴的部分。

監(jiān)督機(jī)器學(xué)習(xí)模型的輸出也可能是有限集e中的一個(gè)類別。g[低、中、高]表示前往海灘的游客人數(shù):

輸入[溫度=20] -> 模型 -> 輸出 = [游客數(shù)=高]

在這種情況下，它決定如何對(duì)輸入進(jìn)行分類，這就是所謂的分類。或者輸出可以是一個(gè)真實(shí)的標(biāo)量(輸出一個(gè)數(shù)字):

輸入 [溫度=20] ->模型-> 輸出 = [游客數(shù)=300]

這種計(jì)算模型，稱之為回歸。

分類

分類將相似的數(shù)據(jù)點(diǎn)分組到不同的組，以便對(duì)它們進(jìn)行分類。機(jī)器學(xué)習(xí)被用來發(fā)現(xiàn)解釋如何分離不同數(shù)據(jù)點(diǎn)的規(guī)則。

但這些神奇的規(guī)則是如何產(chǎn)生的呢?有多種方法可以產(chǎn)生規(guī)則。它們都專注于使用數(shù)據(jù)和答案來發(fā)現(xiàn)線性分離數(shù)據(jù)點(diǎn)的規(guī)則。

線性可分性是機(jī)器學(xué)習(xí)中的一個(gè)關(guān)鍵概念。所有這些線性可分性意味著“不同的數(shù)據(jù)點(diǎn)可以用一條線分開嗎?”簡單地說，分類方法試圖找到用一條線分隔數(shù)據(jù)點(diǎn)的最佳方法。

回歸

回歸是監(jiān)督學(xué)習(xí)的另一種形式。分類和回歸的區(qū)別在于回歸輸出的是一個(gè)數(shù)字而不是一個(gè)類。因此，在預(yù)測基于數(shù)字的問題(如股票市場價(jià)格、某一天的溫度或某一事件的概率)時(shí)，回歸是有用的。

例如：

在金融交易中，回歸被用來發(fā)現(xiàn)股票和其他資產(chǎn)的模式，以決定何時(shí)買進(jìn)/賣出并獲利。

分類和回歸監(jiān)督學(xué)習(xí)技術(shù)都可以擴(kuò)展到更復(fù)雜的任務(wù)。例如，涉及語音和音頻的任務(wù)。圖像分類、對(duì)象檢測和聊天機(jī)器人就是一些例子。

下面展示的一個(gè)最近的例子使用了一個(gè)經(jīng)過監(jiān)督學(xué)習(xí)訓(xùn)練的模型來逼真地模仿人們說話的視頻。

您可能想知道這個(gè)復(fù)雜的基于圖像的任務(wù)是如何與分類或回歸相關(guān)的？前面提到世界上的所有事物，甚至是復(fù)雜的現(xiàn)象，都可以從根本上用數(shù)學(xué)和數(shù)字來描述。但在這個(gè)例子中，數(shù)字是面部網(wǎng)格的數(shù)值三維坐標(biāo)值。

無監(jiān)督學(xué)習(xí)

在無監(jiān)督學(xué)習(xí)中，示例中僅提供輸入數(shù)據(jù)而沒有目標(biāo)標(biāo)簽輸出。但令人驚訝的是，仍然有可能在沒有任何標(biāo)簽的數(shù)據(jù)中發(fā)現(xiàn)許多有趣和復(fù)雜的模式。

在現(xiàn)實(shí)生活中，無監(jiān)督學(xué)習(xí)的一個(gè)例子就是把不同顏色的硬幣分門別類。沒人教過你如何把它們分開，但只要看看它們的特征，比如顏色，你就能知道哪些顏色的硬幣是相關(guān)的，并把它們歸到正確的類別里。

一種無監(jiān)督學(xué)習(xí)算法(t-SNE)只根據(jù)手寫數(shù)字的特征，正確地將其分組

無監(jiān)督學(xué)習(xí)可能比監(jiān)督學(xué)習(xí)更難，因?yàn)闆]有監(jiān)督意味著問題變得越來越不明確。該算法對(duì)于尋找什么模式的想法不太集中。

試想，如果你是在老師的指導(dǎo)下學(xué)習(xí)彈吉他的，可以通過重復(fù)指導(dǎo)下練習(xí)關(guān)于音符、和弦和節(jié)奏的知識(shí)來快速學(xué)習(xí)。但如果只是自學(xué)，你會(huì)發(fā)現(xiàn)學(xué)習(xí)效率變得困難得多。

為了在未標(biāo)記的數(shù)據(jù)中找到有趣的結(jié)構(gòu)，我們使用了密度估計(jì)。最常見的形式是聚類。除其他外，還存在降維，潛在變量模型和異常檢測。更復(fù)雜的無監(jiān)督技術(shù)涉及神經(jīng)網(wǎng)絡(luò)，例如自動(dòng)編碼器和深度信念網(wǎng)絡(luò)。

聚類

無監(jiān)督學(xué)習(xí)主要用于聚類。聚類是創(chuàng)建具有不同特征的組的行為。聚類嘗試在數(shù)據(jù)集中查找不同的子組。由于這是無監(jiān)督學(xué)習(xí)，因此我們不受任何標(biāo)簽的限制，可以自由選擇要?jiǎng)?chuàng)建多少聚類。這既有優(yōu)點(diǎn)也有缺陷， 必須通過經(jīng)驗(yàn)?zāi)Ｐ瓦x擇過程來選擇具有正確簇?cái)?shù)（復(fù)雜度）的模型。

關(guān)聯(lián)

關(guān)聯(lián)學(xué)習(xí)中，用以發(fā)現(xiàn)描述數(shù)據(jù)的規(guī)則。例如，如果某人觀看視頻A，則他們很可能會(huì)觀看視頻B。關(guān)聯(lián)規(guī)則非常適合諸如此類的您要查找相關(guān)項(xiàng)目的示例。這就是互聯(lián)網(wǎng)利用大數(shù)據(jù)進(jìn)行挖掘，然后自動(dòng)推送相關(guān)內(nèi)容的一種應(yīng)用之一。

異常檢測

識(shí)別或鑒別與大多數(shù)數(shù)據(jù)不同的稀有或異常特征。例如，銀行將使用它來檢測銀行卡上的欺詐活動(dòng)。正常消費(fèi)習(xí)慣會(huì)落入正常的行為類別內(nèi)。但是，當(dāng)有人嘗試使用您的卡從您那里偷錢時(shí)，其行為將不同于您的正常模式。異常檢測使用無監(jiān)督學(xué)習(xí)來分離和檢測這些非同尋常的事件。

異常檢測非常適合于欺詐檢測和惡意軟件檢測等場景。

降維

降維的目的是找到最重要的特征，將原始的特征集降為更小更有效的集，并對(duì)重要的數(shù)據(jù)進(jìn)行編碼。可以理解為將參數(shù)列表與期望識(shí)別的特征中相關(guān)性相對(duì)較高的提取出來，把相關(guān)性弱或者不相關(guān)的剔除。從而能更容易的建立相對(duì)準(zhǔn)確的數(shù)學(xué)模型。

例如，在預(yù)測前往海灘的游客人數(shù)時(shí)，我們可以使用溫度、星期幾、月份和當(dāng)天安排的活動(dòng)數(shù)量作為輸入。但這個(gè)月對(duì)于預(yù)測游客人數(shù)可能并不重要。

像這樣不相關(guān)的特征會(huì)混淆機(jī)器學(xué)習(xí)算法，使它們的效率和準(zhǔn)確性降低。通過降維，只識(shí)別和使用最重要的特征。主成分分析(PCA)是一種常用的分析方法。

舉例：

在現(xiàn)實(shí)應(yīng)用中，通過研究基于恒星特征自動(dòng)形成哪些恒星子組，聚類已經(jīng)被成功地用于發(fā)現(xiàn)一種新的恒星類型。在市場營銷中，它經(jīng)常被用來根據(jù)顧客的行為和特征將客戶分組。

關(guān)聯(lián)學(xué)習(xí)用于推薦或查找相關(guān)項(xiàng)目。一個(gè)常見的例子是市場籃子分析。在市場購物籃分析中，發(fā)現(xiàn)關(guān)聯(lián)規(guī)則可以根據(jù)客戶放置在購物籃中的東西預(yù)測客戶可能購買的其他商品。亞馬遜使用這個(gè)。如果您將新的筆記本電腦放在籃子里，他們會(huì)通過其關(guān)聯(lián)規(guī)則推薦諸如筆記本電腦外殼之類的物品。

半監(jiān)督學(xué)習(xí)

半監(jiān)督學(xué)習(xí)(Semi-supervised learning)是監(jiān)督方法和非監(jiān)督方法之間的混合。學(xué)習(xí)過程中不針對(duì)每個(gè)輸入的示例輸出進(jìn)行嚴(yán)格的監(jiān)督，但是也不允許算法全自主進(jìn)行，而不提供任何形式的反饋。半監(jiān)督學(xué)習(xí)屬于折中方案策略。

通過將少量標(biāo)記數(shù)據(jù)與更多的未標(biāo)記數(shù)據(jù)集混合在一起，可以減輕擁有足夠標(biāo)記數(shù)據(jù)的負(fù)擔(dān)。因此它提出了更多機(jī)器學(xué)習(xí)要解決的問題。

生成對(duì)抗的網(wǎng)絡(luò)GAN

生成式對(duì)抗網(wǎng)絡(luò)(Generative Adversarial Networks GANs)是最近的一個(gè)突破，取得了令人難以置信的成果。GANs使用兩個(gè)神經(jīng)網(wǎng)絡(luò)，一個(gè)生成器和一個(gè)鑒別器。發(fā)生器產(chǎn)生輸出，鑒別器對(duì)輸出進(jìn)行鑒別。通過互相對(duì)抗，他們都變得越來越有準(zhǔn)確熟練。

通過使用一個(gè)網(wǎng)絡(luò)來生成輸入和另一個(gè)網(wǎng)絡(luò)來生成輸出，我們不需要每次都提供顯式標(biāo)簽，因此它可以被歸類為半監(jiān)督。

舉例：

通過使用一個(gè)網(wǎng)絡(luò)來生成輸入和另一個(gè)網(wǎng)絡(luò)來生成輸出，我們不需要一個(gè)完美的例子，比如醫(yī)學(xué)掃描，比如乳腺癌掃描。需要一個(gè)訓(xùn)練有素的專家來標(biāo)記這些是費(fèi)時(shí)和非常昂貴的。相反，專家可以只對(duì)一小組乳腺癌掃描進(jìn)行標(biāo)記，而半監(jiān)督算法將能夠利用這一小部分并將其應(yīng)用于更大的一組掃描。

在下面視頻中，一個(gè)被稱為GAN(生成式對(duì)抗網(wǎng)絡(luò))的神經(jīng)網(wǎng)絡(luò)被用來合成圖像，而不使用標(biāo)記的訓(xùn)練數(shù)據(jù)。

強(qiáng)化學(xué)習(xí)

最后一種機(jī)器學(xué)習(xí)不那么常見，也復(fù)雜得多，但卻產(chǎn)生了令人難以置信的結(jié)果。它不使用標(biāo)簽，而是使用獎(jiǎng)勵(lì)來學(xué)習(xí)。

如果你熟悉心理學(xué)，你應(yīng)該聽說過強(qiáng)化學(xué)習(xí)。如果沒有，你已經(jīng)從我們在日常生活中學(xué)習(xí)的方式中了解了這個(gè)概念。在這種方法中，偶爾的正面和負(fù)面反饋被用來強(qiáng)化行為。就像訓(xùn)練狗一樣，良好的行為會(huì)得到獎(jiǎng)賞，而且會(huì)變得越來越普遍。不良行為會(huì)受到懲罰，變得不那么常見。這種獎(jiǎng)勵(lì)激勵(lì)行為是強(qiáng)化學(xué)習(xí)的關(guān)鍵。個(gè)人理解是利用了控制論中的反饋機(jī)制。

這與我們?nèi)祟惖膶W(xué)習(xí)方式非常相似。在我們的一生中，我們接受積極和消極的信號(hào)，并不斷從中學(xué)習(xí)。我們大腦中的化學(xué)物質(zhì)是我們獲得這些信號(hào)的多種途徑之一。當(dāng)好事發(fā)生時(shí)，我們大腦中的神經(jīng)元會(huì)提供一種積極的神經(jīng)遞質(zhì)，比如讓我們感覺良好的多巴胺，這樣我們就更有可能重復(fù)那個(gè)特定的行為。我們不需要持續(xù)的監(jiān)督來學(xué)習(xí)，就像在監(jiān)督學(xué)習(xí)中一樣。通過偶爾給予強(qiáng)化信號(hào)，我們?nèi)匀豢梢苑浅Ｓ行У貙W(xué)習(xí)。

舉例：

強(qiáng)化學(xué)習(xí)在現(xiàn)實(shí)世界中使用得并不多，因?yàn)樗侨绱说男路f和復(fù)雜。但是一個(gè)真實(shí)世界的例子是使用強(qiáng)化學(xué)習(xí)通過以一種更有效的方式控制冷卻系統(tǒng)來降低數(shù)據(jù)中心的運(yùn)行成本。該算法學(xué)習(xí)如何行動(dòng)的最優(yōu)策略，以獲得最低的能源成本。成本越低，得到的效益越多。

在研究中，它經(jīng)常用于游戲。完美信息游戲(你可以看到整個(gè)環(huán)境的狀態(tài))和不完美信息游戲(部分狀態(tài)被隱藏，如現(xiàn)實(shí)世界)都獲得了比人類更大的成功。

谷歌DeepMind在研究中使用強(qiáng)化學(xué)習(xí)來玩圍棋和雅達(dá)利游戲，達(dá)到了超人的水平，稱為Deep Q的神經(jīng)網(wǎng)絡(luò)會(huì)使用分?jǐn)?shù)作為獎(jiǎng)勵(lì)來學(xué)習(xí)自己玩Breakout游戲。

主要參考翻譯自：

https://towardsdatascience.com/machine-learning-an-introduction-23b84d51e6d0

作者 ：Gavin Edwards

如果喜歡右下點(diǎn)個(gè)在看，也會(huì)讓我倍感鼓舞

關(guān)注置頂：掃描左下二維碼關(guān)注公眾號(hào)加星

加群交流：掃描右下二維碼添加，發(fā)送“加群”