基于模型的單目視覺定位方法研究概述

1 引言

        視覺是人類認(rèn)識世界的最重要的手段之一，人類獲取的信息百分之八十以上都是通過視覺得到的。隨著計算機技術(shù)、傳感器技術(shù)的發(fā)展，使用攝像機與計算機模擬并實現(xiàn)部分生物視覺成為可能，并已在許多方面得到成功應(yīng)用。同時，如何利用信號處理和計算機技術(shù)對圖像信息進行處理、分析、理解、識別，并最終做出正確的決策成為一個新的研究領(lǐng)域，由此形成一門新興的學(xué)科，即計算機視覺。

　　可以獲得三維信息的視覺方法有許多，典型的有雙目或多目立體視覺，基于模型的單目視覺等。其中后一種方法是指僅利用一臺攝像機完成定位工作。因其僅需一臺視覺傳感器，所以該方法的優(yōu)點是結(jié)構(gòu)簡單、相機標(biāo)定也簡單，同時還避免了立體視覺中的視場小，立體匹配困難的不足。其前提條件是必須已知物體的幾何模型。在計算機視覺研究領(lǐng)域，如何在單目視覺的條件下，完成位置與姿態(tài)的求解已成為一個重要的研究方向。

　　基于模型的單目視覺定位可以應(yīng)用在多方面，包括機器人自主導(dǎo)航、陸地和空間移動機器人定位、視覺伺服、攝像機校正、目標(biāo)跟蹤、視覺監(jiān)測、物體識別、零部件裝配、攝影測量等。

　　基于模型的單目視覺定位問題所應(yīng)用的幾何特征可分為點、直線與高級幾何特征等幾類。相對來說，目前對基于點特征的單目視覺定位方法研究較多。直線特征具有抗遮擋能力強、圖像處理簡單的優(yōu)點，所以有一部分學(xué)者致力于基于直線特征單目視覺定位方法的研究。而基于高級幾何特征的單目視覺定位方法目前研究的還比較少。

　　本文根據(jù)基于模型的單目視覺定位方法所使用的定位特征類型把單目視覺定位方法分為基于點特征的定位方法，基于直線特征的定位方法，基于高級幾何特征的定位方法，全面介紹了各種特征定位方法的研究現(xiàn)狀。目的是方便讀者了解各種特征定位方法的研究現(xiàn)狀，為未來的研究打下理論基礎(chǔ)。

2 點特征定位

　　點特征定位又稱為PNP問題[1]，它是計算機視覺、攝影測量學(xué)乃至數(shù)學(xué)領(lǐng)域的一個經(jīng)典問題。PNP問題是在1981年首先由Fischler和Bolles[2]提出的，即給定N個控制點的相對空間位置以及給定控制點與光心連線所形成的夾角，求出各個控制點到光心的距離，如圖1所示。該問題主要被用來確定攝像機與目標(biāo)物體之間的相對距離和姿態(tài)。

圖1 點的透視投影

　　經(jīng)典的問題從本質(zhì)上來說是非線性的，而且具有多解性。目前對PNP問題的研究主要包括兩個方面：設(shè)計運算速度快、穩(wěn)定的算法，來尋找PNP問題的所有解或部分解。對多解現(xiàn)象的研究。即找出在什么條件下有1個、2個、3個或者4個解。

　　PNP問題的研究集中在對P3P問題、P4P問題、P5P問題的研究上。這是因為如果僅使用兩個特征點即P2P問題有無限組解，其物理意義是僅有兩個點不能確定兩點在攝像機坐標(biāo)系下的位置。而特征點的個數(shù)應(yīng)該大于五，PNP問題變成了經(jīng)典的DLT問題，是可以線性求解的。目前，人們對P3P、P4P 問題已研究的比較清楚，并有如下結(jié)論：P3P 問題最多有4個解，且解的上限可以達(dá)到，對于P4P問題，當(dāng)4個控制點共面時，問題有唯一解，當(dāng)4個控制點不共面時，問題最多可能有5個解，且解的上限可以達(dá)到。對于P5P問題，當(dāng)5個控制點中任意3點不共線時，則P5P問題最多可能有兩個解，且解的上限可以達(dá)到。

3 直線特征定位

　　當(dāng)前，基于模型單目視覺定位的模型特征分為點、直線與高級幾何特征等幾類。相對來說，目前對于基于點特征的單目視覺定位方法研究較多，對于基于直線特征的單目視覺定位方法的研究還比較少。在某些特定的環(huán)境中，采用直線特征進行定位比采用點特征進行定位具有一定的優(yōu)勢。直線特征的優(yōu)勢表現(xiàn)在以下幾方面：首先，自然環(huán)境的圖像包含很多的直線特征。其次，在圖像上直線特征比點特征的提取精度更高。最后，直線特征抗遮擋能力比較強。同時相對于更高級的幾何特征，直線特征也具有優(yōu)勢，具體表現(xiàn)在以下幾方面：首先，在周圍自然環(huán)境的圖像中，直線比其他的高級幾何特征更常見，同時也更容易提取。其次，直線的數(shù)學(xué)表達(dá)式更簡單，處理起來效率更高。因此綜合來看，在某些方面采用直線特征進行視覺定位具有其它特征所不具有的一些優(yōu)勢，在實現(xiàn)高精度、實時自主定位方面有著廣泛的應(yīng)用前景。

　　對于空間恢復(fù)，至少需要非共線的三個特征點來獲得唯一解。如果使用直線，則需要三條直線，三條直線不同時平行且不和光心共面。目前，理論上研究最多的是利用三線定位的問題，即Perspective Projection of Three Lines，以下簡稱P3L問題，如圖2所示。

圖2 直線的透視投影

　　對于P3L問題，大部分學(xué)者是通過圖像直線和攝像機光心構(gòu)成的投影平面的法向量和物體直線垂直來建立數(shù)學(xué)模型。這種方法要求確定物體位姿的三條直線不同時平行且不和光心共面，進而建立由三條直線構(gòu)成的三個非線性方程。Horaud等 [3]，Dhome等[4]，Chen [5]，Liu等[6]都是使用的這種方法。其數(shù)學(xué)模型可以描述如下：假設(shè)攝像機坐標(biāo)系和物體坐標(biāo)系之間的旋轉(zhuǎn)矩陣為，已知空間直線在物體坐標(biāo)系下的方向向量為，經(jīng)過旋轉(zhuǎn)變換到攝像機坐標(biāo)系下的方向向量為：。由數(shù)學(xué)模型得到關(guān)于旋轉(zhuǎn)矩陣的關(guān)系式為：。因此只要通過三條直線的投影方程，就能通過解方程組求得到矩陣的三個參量，即可以求得矩陣。這種方法有效地解決了使用直線特征如何進行視覺定位的問題，其中的不足之處是非線性方程組比較復(fù)雜，定位誤差偏大。

　　基于直線特征進行單目視覺定位，大部分的研究集中在對定位數(shù)學(xué)模型的求解問題上。目前，求解的方法主要有兩種，一種是閉式解，一種是數(shù)值解。對于閉式解方法，Dhome[4]和Chen[5]由空間任意三條線通過建立特殊的模型坐標(biāo)系推導(dǎo)出一個八次多項式，這個八次多項式可以由閉式解的方法來確定物體的位姿。Radu Horaud[3]對于非共面的三條直線得到一個四次多項式，最后可以由迭代的方法也可以由閉式解的方法確定物體的位姿。閉式解方法的優(yōu)點是實時性好，適合應(yīng)用在實時系統(tǒng)中，缺點是存在多解問題，定位誤差偏大。許多學(xué)者提出來各種不同的迭代方法來解決閉式解的多解問題，也就是數(shù)值解方法。

　　對于數(shù)值解方法，Yuan[7]建議把R參數(shù)從T參數(shù)中分離出來，集中計算R參數(shù)。R旋轉(zhuǎn)矩陣是通過正交矩陣來表示，解是通過六個二次多項式的公共根來表示，這個公共根通過牛頓迭代梯度法得到，然而作者注意到在使用牛頓迭代梯度法時會出現(xiàn)局部最優(yōu)解，只有給迭代方法合適的初值才能得到全局最小值。Lowe等[8]使用牛頓迭代法估計物體相對于攝像機的方向和位置參數(shù)，以模型投影和圖像之間距離的平方和作為誤差函數(shù)，然后對誤差函數(shù)計算最小值。和Yuan的方法一樣，Lowe等[8]注意到牛頓迭代法的一些問題，并且在以后的文章中他研究了怎樣處理初值和穩(wěn)定性問題，提供好的初值，算法的穩(wěn)定性是可以保證的。Liu等[6]使用交替迭代方法來求解視覺參數(shù)。一條直線的對應(yīng)可以由兩個點的對應(yīng)來確定，作者注意到，使用線特征對應(yīng)，旋轉(zhuǎn)參數(shù)很容易從位置參數(shù)中分離出來，一旦旋轉(zhuǎn)參數(shù)確定下來了，對平移參數(shù)的求解是線性問題，旋轉(zhuǎn)參數(shù)用歐拉角來表示。作者把誤差函數(shù)線性化，他們注意到當(dāng)三個角度都比三十度小的時候，該方法效果好。數(shù)值解方法的優(yōu)點是定位精度較高。其缺點是在優(yōu)化過程中容易出現(xiàn)局部極小值，并不能保證解的唯一性；計算量偏大，迭代時間較長，不適合應(yīng)用在實時系統(tǒng)中。綜合來看，現(xiàn)有的直線特征單目視覺定位算法在定位精度和實時性上很難滿足實際工程應(yīng)用的需要，有待進一步的提高，因此，探討并研究定位精度高、實時性好的直線特征單目視覺定位算法非常有必要。

4 高級幾何特征定位

　　高級幾何特征包括圓，橢圓，二次曲線等。對于基于模型的單目視覺定位問題，很多學(xué)者作了這方面的研究工作。通常，他們使用點或直線的投影作為基元，由三個圖像點或三條圖像直線以及在物體坐標(biāo)下點或直線之間的相對位置關(guān)系，確定模型的姿態(tài)。有時，基于模型單目視覺定位問題的模型采用曲線表面的物體，所以使用曲線進行曲線表面物體的定位成為另外一個積極研究的方向。

　　使用曲線定位的好處是：首先，自然界許多物體的表面上有曲線特征；其次，曲線包含三維物體的全局位姿信息；最后，對曲線的表示是對稱矩陣，因此數(shù)學(xué)處理起來很方便。在很多情況下，我們可以獲得閉式解，從而避免了非線性搜索。對比于其它兩種特征，不足的地方是自然界中還是點特征和直線特征更普遍存在，具有廣泛的適用性。
對于曲線表面的物體，一些學(xué)者提出了使用曲線進行定位的方法，如圖3所示。當(dāng)用曲線進行姿態(tài)估計時，一定要對復(fù)雜的非線性系統(tǒng)進行求解。Forsyth等[9]對于共面曲線提出一種定位方法，這種方法是對兩個四次多項式進行求解。Ma Songde[10]提出，對于兩個非共面曲線，它的姿態(tài)可以對有六個二次多項式組成的非線性系統(tǒng)進行求解得到；當(dāng)兩個空間曲線共面時，可以得到物體姿態(tài)的閉式解。

圖3 曲線的透視投影

　　圓和橢圓是曲線的一種。文獻[11]提出一種對圓特征進行定位，如圖4所示，屬于代數(shù)方法。在文獻[12]中，提出一種新的使用圓特征進行定位的方法，屬于幾何方法。

圖4 圓的透視投影

5 結(jié)論

　　基于模型的單目視覺定位方法研究是計算機視覺領(lǐng)域的一個重要問題?？梢詰?yīng)用在多方面，包括機器人自主導(dǎo)航、陸地和空間移動機器人定位、視覺伺服、攝像機校正、目標(biāo)跟蹤、視覺監(jiān)測、物體識別、零部件裝配等。

　　本文根據(jù)基于模型的單目視覺定位方法所使用的定位特征類型把定位方法進行了分類，并且詳細(xì)介紹了各種特征定位方法的研究現(xiàn)狀。

　　對于基于點特征的定位方法，很多研究者進行了深入廣泛的研究，目前的研究成果已經(jīng)比較成熟。對于基于直線特征和基于高級幾何特征的定位方法，目前的研究不是很多。在定位精度和實時性方面還很難滿足實際工程應(yīng)用的需要，在方法上有待于進一步改進和完善。在實際工程應(yīng)用中，探討并研究基于直線特征和基于高級幾何特征的高精度、實時性好的定位算法具有一定的研究價值。