卷積神經(jīng)網(wǎng)絡(luò)檢測臉部關(guān)鍵點的教程之兩個重要參數(shù)：學(xué)習(xí)率，學(xué)習(xí)動量

Pybrain號稱最好用的Python神經(jīng)網(wǎng)絡(luò)庫。其實Scikit-Learn號稱Python上最好用的機(jī)器學(xué)習(xí)庫，但是它偏偏就沒有神經(jīng)網(wǎng)絡(luò)這塊，所以就與我無緣了。

之前也看過一些提到Neurolab這個庫的，打算之后嘗試一下（好像支持的神經(jīng)網(wǎng)絡(luò)不太一樣）。

Pybrain的文檔傳說中寫得不錯，但是我需要的例子它并沒有。官方文檔給的例子是用于分類的，而不是數(shù)據(jù)擬合（預(yù)測，或者叫做回歸問題）。

另外，官方文檔的函數(shù)（方法）說明并不全，有一些需要自己通過help函數(shù)在python shell里調(diào)用，或者直接閱讀源代碼。

好了言歸正傳。大概分為以下這幾步。
. 構(gòu)造神經(jīng)網(wǎng)絡(luò)
. 構(gòu)造數(shù)據(jù)集
. 訓(xùn)練神經(jīng)網(wǎng)絡(luò)
. 結(jié)果可視化
. 驗證與分析

可以采用快速建立神經(jīng)網(wǎng)絡(luò)的模式，也可以自己設(shè)定神經(jīng)網(wǎng)絡(luò)。這里采用第二種做法，建立的是前饋神經(jīng)網(wǎng)絡(luò)。
from pybrain.structure import *
# 建立神經(jīng)網(wǎng)絡(luò)fnn
fnn = FeedForwardNetwork()

# 設(shè)立三層，一層輸入層（3個神經(jīng)元，別名為inLayer），一層隱藏層，一層輸出層
inLayer = LinearLayer(3,)
hiddenLayer = SigmoidLayer(7,)
outLayer = LinearLayer(1,)

# 將三層都加入神經(jīng)網(wǎng)絡(luò)（即加入神經(jīng)元）
fnn.addInputModule(inLayer)
fnn.addModule(hiddenLayer)
fnn.addOutputModule(outLayer)

# 建立三層之間的連接
in_to_hidden = FullConnecTIon(inLayer, hiddenLayer)
hidden_to_out = FullConnecTIon(hiddenLayer, outLayer)

# 將連接加入神經(jīng)網(wǎng)絡(luò)
fnn.addConnecTIon(in_to_hidden)
fnn.addConnecTIon(hidden_to_out)

# 讓神經(jīng)網(wǎng)絡(luò)可用
fnn.sortModules()

在構(gòu)造數(shù)據(jù)集的時候，我用的是SupervisedDataset，即監(jiān)督數(shù)據(jù)集。也可以試一試別的。
from pybrain.supervised.trainers import BackpropTrainer

# 定義數(shù)據(jù)集的格式是三維輸入，一維輸出
DS = SupervisedDataSet(3,1)

# 往數(shù)據(jù)集內(nèi)加樣本點
# 假設(shè)x1，x2，x3是輸入的三個維度向量，y是輸出向量，并且它們的長度相同
for i in len(y):
DS.addSample([x1[i], x2[i], x3[i]], [y[i]])

# 如果要獲得里面的輸入／輸出時，可以用
X = DS['input']
Y = DS['target']

# 如果要把數(shù)據(jù)集切分成訓(xùn)練集和測試集，可以用下面的語句，訓(xùn)練集：測試集＝8:2
# 為了方便之后的調(diào)用，可以把輸入和輸出拎出來
dataTrain, dataTest = DS.splitWithProportion(0.8)
xTrain, yTrain = dataTrain['input'], dataTrain['target']
xTest, yTest = dataTest['input'], dataTest['target']

構(gòu)造數(shù)據(jù)集部分就這樣告一段落了。

俗話說得好，80%的工作往往是20%的部分完成的。嗯哼，其實最重要的代碼就是如下這幾行啦。
不過調(diào)用的是別人的東西，也不知道內(nèi)部的實現(xiàn)比例，就是開個玩笑。
from pybrain.supervised.trainers import BackpropTrainer

# 訓(xùn)練器采用BP算法
# verbose = True即訓(xùn)練時會把Total error打印出來，庫里默認(rèn)訓(xùn)練集和驗證集的比例為4:1，可以在括號里更改
trainer = BackpropTrainer(fnn, dataTrain, verbose = True, learningrate=0.01)

# maxEpochs即你需要的最大收斂迭代次數(shù)，這里采用的方法是訓(xùn)練至收斂，我一般設(shè)為1000
trainer.trainUntilConvergence(maxEpochs=1000)

數(shù)據(jù)可視化就不提了，基本上用的是Pylab來進(jìn)行數(shù)據(jù)可視化，具體可見這篇博文：
Python的一些畫圖函數(shù) 。

首先，我們可以挑一個隨機(jī)數(shù)據(jù)來看看結(jié)果。
import random

# c為從0到xTest的長度（包括0，不包括長度）之間的隨機(jī)值
c = random.randint(0, xTest.shape[0])

# X2為xTest的一個隨機(jī)樣本點
X2 = xTest[c,:]

# activate函數(shù)即神經(jīng)網(wǎng)絡(luò)訓(xùn)練后，預(yù)測的X2的輸出值
prediction = fnn.activate(X2)

# 可以將其打印出來
print('true number is: ' + str(yTest[c]),
'prediction number is:' + str(prediction),
'error:' + str((prediction-yTest[c])/yTest[c]))

我們可以把神經(jīng)網(wǎng)絡(luò)打印出來，此處的代碼是在stackoverflow里找到的，出處忘了，感謝那個哥們的輪子。
這樣就可以看各條連接的權(quán)重了。

for mod in fnn.modules:
print "Module:", mod.name
if mod.paramdim > 0:
print "--parameters:", mod.params
for conn in fnn.connections[mod]:
print "-connection to", conn.outmod.name
if conn.paramdim > 0:
print "- parameters", conn.params
if hasattr(fnn, "recurrentConns"):
print "Recurrent connections"
for conn in fnn.recurrentConns:
print "-", conn.inmod.name, " to", conn.outmod.name
if conn.paramdim > 0:
print "- parameters", conn.params

我們可以調(diào)用一個計時器來看程序的運行時間，判斷性能

import time

# 在需要計時的代碼前調(diào)用這個
start = time.clock()

# 在需要計時的代碼后再調(diào)用一次clock函數(shù)
elapsed = (time.clock()-start)
print("Time used:" + str(elapsed))

如果需要一些統(tǒng)計數(shù)據(jù)的話，可以自己寫一些統(tǒng)計類的函數(shù)，或者找包里的tools模塊，有一些統(tǒng)計函數(shù)，比如均方誤差（MSE）等。