Kinect for Windows SDK開(kāi)發(fā)入門(六)：骨骼追蹤基礎(chǔ) 上

Kinect產(chǎn)生的景深數(shù)據(jù)作用有限，要利用Kinect創(chuàng)建真正意義上交互，有趣和難忘的應(yīng)用，還需要除了深度數(shù)據(jù)之外的其他數(shù)據(jù)。這就是骨骼追蹤技術(shù)的初衷，骨骼追蹤技術(shù)通過(guò)處理景深數(shù)據(jù)來(lái)建立人體各個(gè)關(guān)節(jié)的坐標(biāo),骨骼追蹤能夠確定人體的各個(gè)部分，如那部分是手，頭部，以及身體。骨骼追蹤產(chǎn)生X,Y,Z數(shù)據(jù)來(lái)確定這些骨骼點(diǎn)。在上文中，我們討論了景深圖像處理的一些技術(shù)。骨骼追蹤系統(tǒng)采用的景深圖像處理技術(shù)使用更復(fù)雜的算法如矩陣變換，機(jī)器學(xué)習(xí)及其他方式來(lái)確定骨骼點(diǎn)的坐標(biāo)。

本文首先用一個(gè)例子展示骨骼追蹤系統(tǒng)涉及的主要對(duì)象，然后在此基礎(chǔ)上詳細(xì)討論骨骼追蹤中所涉及的對(duì)象模型。

本節(jié)將會(huì)創(chuàng)建一個(gè)應(yīng)用來(lái)將獲取到的骨骼數(shù)據(jù)繪制到UI界面上來(lái)。在開(kāi)始編碼前，首先來(lái)看看一些基本的對(duì)象以及如何從這些對(duì)象中如何獲取骨骼數(shù)據(jù)。在進(jìn)行數(shù)據(jù)處理之前了解數(shù)據(jù)的格式也很有必要。這個(gè)例子很簡(jiǎn)單明了，只需要骨骼數(shù)據(jù)對(duì)象然后將獲取到的數(shù)據(jù)繪制出來(lái)。

彩色影像數(shù)據(jù)，景深數(shù)據(jù)分別來(lái)自ColorImageSteam和DepthImageStream，同樣地，骨骼數(shù)據(jù)來(lái)自SkeletonStream。訪問(wèn)骨骼數(shù)據(jù)和訪問(wèn)彩色影像數(shù)據(jù)、景深數(shù)據(jù)一樣，也有事件模式和 “拉”模式兩種方式。在本例中我們采用基于事件的方式，因?yàn)檫@種方式簡(jiǎn)單，代碼量少，并且是一種很普通基本的方法。KinectSensor對(duì)象有一個(gè)名為SkeletonFrameReady事件。當(dāng)SkeletonStream中有新的骨骼數(shù)據(jù)產(chǎn)生時(shí)就會(huì)觸發(fā)該事件。通過(guò)AllFramesReady事件也可以獲取骨骼數(shù)據(jù)。在下一節(jié)中，我們將會(huì)詳細(xì)討論骨骼追蹤對(duì)象模型，現(xiàn)在我們只展示如何從SkeletonStream流中獲取骨骼數(shù)據(jù)。SkeletonStream產(chǎn)生的每一幀數(shù)據(jù)都是一個(gè)骨骼對(duì)象集合。每一個(gè)骨骼對(duì)象包含有描述骨骼位置以及骨骼關(guān)節(jié)的數(shù)據(jù)。每一個(gè)關(guān)節(jié)有一個(gè)唯一標(biāo)示符如頭(head)、肩(shoulder)、肘(dlbow)等信息和3D向量數(shù)據(jù)。

現(xiàn)在來(lái)寫(xiě)代碼。首先創(chuàng)建一個(gè)新的wpf工程文件，添加Microsoft.Kinect.dll。添加基本查找和初始化傳感器的代碼，這些代碼參考之前的文章。在開(kāi)始啟動(dòng)傳感器之前，初始化SkeletonStream數(shù)據(jù)流，并注冊(cè)KinectSensor對(duì)象的SkeletonFrameReady事件，這個(gè)例子沒(méi)有使用彩色攝像機(jī)和紅外攝像機(jī)產(chǎn)生的數(shù)據(jù)，所以不需要初始化這些數(shù)據(jù)流。UI界面采用默認(rèn)的，將Grid的名稱改為L(zhǎng)ayoutRoot，之后就再Grid里面繪制。代碼如下：

<Window x:Class="KinectSkeletonTracking.MainWindow"        xmlns="http://schemas.microsoft.com/winfx/2006/xaml/presentation"        xmlns:x="http://schemas.microsoft.com/winfx/2006/xaml"        Title="MainWindow" Height="350" Width="525">    <Grid x:Name="LayoutRoot" Background="White">            </Grid></Window>

后臺(tái)邏輯代碼如下：

private KinectSensor kinectDevice;private readonly Brush[] skeletonBrushes;//繪圖筆刷private Skeleton[] frameSkeletons;public MainWindow(){    InitializeComponent();    skeletonBrushes = new Brush[] { Brushes.Black, Brushes.Crimson, Brushes.Indigo, Brushes.DodgerBlue, Brushes.Purple, Brushes.Pink };    KinectSensor.KinectSensors.StatusChanged += KinectSensors_StatusChanged;    this.KinectDevice = KinectSensor.KinectSensors.FirstOrDefault(x => x.Status == KinectStatus.Connected);}public KinectSensor KinectDevice{    get { return this.kinectDevice; }    set    {        if (this.kinectDevice != value)        {            //Uninitialize            if (this.kinectDevice != null)            {                this.kinectDevice.Stop();                this.kinectDevice.SkeletonFrameReady -= KinectDevice_SkeletonFrameReady;                this.kinectDevice.SkeletonStream.Disable();                this.frameSkeletons = null;            }            this.kinectDevice = value;            //Initialize            if (this.kinectDevice != null)            {                if (this.kinectDevice.Status == KinectStatus.Connected)                {                    this.kinectDevice.SkeletonStream.Enable();                    this.frameSkeletons = new Skeleton[this.kinectDevice.SkeletonStream.FrameSkeletonArrayLength];                    this.kinectDevice.SkeletonFrameReady += KinectDevice_SkeletonFrameReady;                    this.kinectDevice.Start();                }            }        }    }}private void KinectSensors_StatusChanged(object sender, StatusChangedEventArgs e){    switch (e.Status)    {        case KinectStatus.Initializing:        case KinectStatus.Connected:        case KinectStatus.NotPowered:        case KinectStatus.NotReady:        case KinectStatus.DeviceNotGenuine:            this.KinectDevice = e.Sensor;            break;        case KinectStatus.Disconnected:            //TODO: Give the user feedback to plug-in a Kinect device.                                this.KinectDevice = null;            break;        default:            //TODO: Show an error state            break;    }}

以上代碼中，值得注意的是frameSkeletons數(shù)組以及該數(shù)組如何在流初始化時(shí)進(jìn)行內(nèi)存分配的。Kinect能夠追蹤到的骨骼數(shù)量是一個(gè)常量。這使得我們?cè)谡麄€(gè)應(yīng)用程序中能夠一次性的為數(shù)組分配內(nèi)存。為了方便，Kinect SDK在SkeletonStream對(duì)象中定義了一個(gè)能夠追蹤到的骨骼個(gè)數(shù)常量FrameSkeletonArrayLength，使用這個(gè)常量可以方便的對(duì)數(shù)組進(jìn)行初始化。代碼中也定義了一個(gè)筆刷數(shù)組，這些筆刷在繪制骨骼時(shí)對(duì)多個(gè)游戲者可以使用不同的顏色進(jìn)行繪制。也可以將筆刷數(shù)組中的顏色設(shè)置為自己喜歡的顏色。

下面的代碼展示了SkeletonFrameReady事件的響應(yīng)方法，每一次事件被激發(fā)時(shí)，通過(guò)調(diào)用事件參數(shù)的OpenSkeletonFrame方法就能夠獲取當(dāng)前的骨骼數(shù)據(jù)幀。剩余的代碼遍歷骨骼數(shù)據(jù)幀的Skeleton數(shù)組frameSkeletons，在UI界面通過(guò)關(guān)節(jié)點(diǎn)將骨骼連接起來(lái)，用一條直線代表一根骨骼。UI界面簡(jiǎn)單，將Grid元素作為根結(jié)點(diǎn)，并將其背景設(shè)置為白色。

private void KinectDevice_SkeletonFrameReady(object sender, SkeletonFrameReadyEventArgs e){    using (SkeletonFrame frame = e.OpenSkeletonFrame())    {        if (frame != null)        {            Polyline figure;            Brush userBrush;            Skeleton skeleton;            LayoutRoot.Children.Clear();            frame.CopySkeletonDataTo(this.frameSkeletons);            for (int i = 0; i < this.frameSkeletons.Length; i++)            {                skeleton = this.frameSkeletons[i];                if (skeleton.TrackingState == SkeletonTrackingState.Tracked)                {                    userBrush = this.skeletonBrushes[i % this.skeletonBrushes.Length];                    //繪制頭和軀干                    figure = CreateFigure(skeleton, userBrush, new[] { JointType.Head, JointType.ShoulderCenter, JointType.ShoulderLeft, JointType.Spine,                                                                JointType.ShoulderRight, JointType.ShoulderCenter, JointType.HipCenter                                                                });                    LayoutRoot.Children.Add(figure);                    figure = CreateFigure(skeleton, userBrush, new[] { JointType.HipLeft, JointType.HipRight });                    LayoutRoot.Children.Add(figure);                    //繪制作腿                    figure = CreateFigure(skeleton, userBrush, new[] { JointType.HipCenter, JointType.HipLeft, JointType.KneeLeft, JointType.AnkleLeft, JointType.FootLeft });                    LayoutRoot.Children.Add(figure);                    //繪制右腿                    figure = CreateFigure(skeleton, userBrush, new[] { JointType.HipCenter, JointType.HipRight, JointType.KneeRight, JointType.AnkleRight, JointType.FootRight });                    LayoutRoot.Children.Add(figure);                    //繪制左臂                    figure = CreateFigure(skeleton, userBrush, new[] { JointType.ShoulderLeft, JointType.ElbowLeft, JointType.WristLeft, JointType.HandLeft });                    LayoutRoot.Children.Add(figure);                    //繪制右臂                    figure = CreateFigure(skeleton, userBrush, new[] { JointType.ShoulderRight, JointType.ElbowRight, JointType.WristRight, JointType.HandRight });                    LayoutRoot.Children.Add(figure);                }            }        }    }}

循環(huán)遍歷frameSkeletons對(duì)象，每一次處理一個(gè)骨骼，在處理之前需要判斷是否是一個(gè)追蹤好的骨骼，可以使用Skeleton對(duì)象的TrackingState屬性來(lái)判斷，只有骨骼追蹤引擎追蹤到的骨骼我們才進(jìn)行繪制，忽略哪些不是游戲者的骨骼信息即過(guò)濾掉那些TrackingState不等于SkeletonTrackingState.Tracked的骨骼數(shù)據(jù)。Kinect能夠探測(cè)到6個(gè)游戲者，但是同時(shí)只能夠追蹤到2個(gè)游戲者的骨骼關(guān)節(jié)位置信息。在后面我們將會(huì)詳細(xì)討論TrackingState這一屬性。

處理骨骼數(shù)據(jù)相對(duì)簡(jiǎn)單，首先，我們根Kinect追蹤到的游戲者的編號(hào)，選擇一種顏色筆刷。然后利用這只筆刷繪制曲線。CreateFigure方法為每一根骨骼繪制一條直線。GetJointPoint方法在繪制骨骼曲線中很關(guān)鍵。該方法以關(guān)節(jié)點(diǎn)的三維坐標(biāo)作為參數(shù)，然后調(diào)用KinectSensor對(duì)象的MapSkeletonPointToDepth方法將骨骼坐標(biāo)轉(zhuǎn)換到深度影像坐標(biāo)上去。后面我們將會(huì)討論為什么需要這樣轉(zhuǎn)換以及如何定義坐標(biāo)系統(tǒng)。現(xiàn)在我們只需要知道的是，骨骼坐標(biāo)系和深度坐標(biāo)及彩色影像坐標(biāo)系不一樣，甚至和UI界面上的坐標(biāo)系不一樣。在開(kāi)發(fā)Kinect應(yīng)用程序中，從一個(gè)坐標(biāo)系轉(zhuǎn)換到另外一個(gè)坐標(biāo)系這樣的操作非常常見(jiàn)，GetJointPoint方法的目的就是將骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)轉(zhuǎn)換到UI繪圖坐標(biāo)系統(tǒng)，返回該骨骼關(guān)節(jié)點(diǎn)在UI上的位置。下面的代碼展示了CreateFigure和GetJointPoint這兩個(gè)方法。

private Polyline CreateFigure(Skeleton skeleton, Brush brush, JointType[] joints){    Polyline figure = new Polyline();    figure.StrokeThickness = 8;    figure.Stroke = brush;    for (int i = 0; i < joints.Length; i++)    {        figure.Points.Add(GetJointPoint(skeleton.Joints[joints[i]]));    }    return figure;}private Point GetJointPoint(Joint joint){    DepthImagePoint point = this.KinectDevice.MapSkeletonPointToDepth(joint.Position, this.KinectDevice.DepthStream.Format);    point.X *= (int)this.LayoutRoot.ActualWidth / KinectDevice.DepthStream.FrameWidth;    point.Y *= (int)this.LayoutRoot.ActualHeight / KinectDevice.DepthStream.FrameHeight;    return new Point(point.X, point.Y);} 

值得注意的是，骨骼關(guān)節(jié)點(diǎn)的三維坐標(biāo)中我們舍棄了Z值，只用了X,Y值。Kinect好不容易為我們提供了每一個(gè)節(jié)點(diǎn)的深度數(shù)據(jù)(Z值)而我們卻沒(méi)有使用，這看起來(lái)顯得很浪費(fèi)。其實(shí)不是這樣的，我們使用了節(jié)點(diǎn)的Z值，只是沒(méi)有直接使用，沒(méi)有在UI界面上展現(xiàn)出來(lái)而已。在坐標(biāo)空間轉(zhuǎn)換中是需要深度數(shù)據(jù)的?？梢栽囋囋贕etJointPoint方法中，將joint的Position中的Z值改為0，然后再調(diào)用MapSkeletonPointToDepth方法，你會(huì)發(fā)現(xiàn)返回的對(duì)象中x和y值均為0，可以試試，將圖像以Z值進(jìn)行等比縮放，可以發(fā)現(xiàn)圖像的大小是和Z值(深度)成反的。也就是說(shuō)，深度值越小，圖像越大，即人物離Kinect越近，骨骼數(shù)據(jù)越大。

運(yùn)行程序，會(huì)得到如下骨骼圖像，這個(gè)是手握鍵盤準(zhǔn)備截圖的姿勢(shì)。一開(kāi)始可能需要調(diào)整一些Form窗體的大小。程序會(huì)為每一個(gè)游戲者以一種顏色繪制骨骼圖像，可以試著在Kinect前面移動(dòng)，可以看到骨骼圖像的變化，也可以走進(jìn)然后走出圖像以觀察顏色的變化。仔細(xì)觀察有時(shí)候可以看到繪圖出現(xiàn)了一些奇怪的圖案，在討論完骨骼追蹤相關(guān)的API之后，就會(huì)明白這些現(xiàn)象出現(xiàn)的原因了。