臥槽！出了一個Python實時目標跟蹤系統(tǒng)神器！

在當(dāng)下自動駕駛、智慧城市、安防等領(lǐng)域?qū)?span>車輛、行人、飛行器等快速移動的物體進行實時跟蹤及分析的需求可謂比比皆是， 但單純的目標檢測算法只能輸出目標的定位 分類，無法對移動的目標具體的運動行為及特征進行分析，因此在具體的車輛行為分析、交通違章判別、嫌疑犯追蹤、飛行器監(jiān)管等場景，目標追蹤發(fā)揮著不可替代的作用。

視頻引用公開數(shù)據(jù)集[1][2][3][4]

但實際目標追蹤的項目落地，往往面臨被檢目標多、相互遮擋、圖像扭曲變形、背景雜亂、視角差異大、目標小且運動速度快等產(chǎn)業(yè)實際技術(shù)難題。

那如何快速實現(xiàn)高性能的目標跟蹤任務(wù)呢？一個相對完善的目標跟蹤任務(wù)實現(xiàn)， 往往需要融合目標檢測、行人重識別、軌跡融合等多項技術(shù)能力，并對上述產(chǎn)業(yè)實際的技術(shù)難點，分別進行長時間深度優(yōu)化，同時考慮跨鏡頭、多類別、小目標跟蹤以及輕量化部署等實際業(yè)務(wù)訴求。

難么？別急，近日在GitHub社區(qū)發(fā)布的一個開源目標跟蹤系統(tǒng)—PP-Tracking就能使開發(fā)者快速用Python完成一個高性能的目標跟蹤任務(wù)，并實現(xiàn)服務(wù)器側(cè)輕量化上線。

它的具體結(jié)構(gòu)圖如下：

關(guān)于詳細的結(jié)構(gòu)詳解，可以前往具體項目鏈接查看：

https://github.com/PaddlePaddle/paddledetection

當(dāng)然，如果你覺得項目確實實用，支持開源最好的方式就是點亮Star星標支持一下

本文作者也確實詳細研究了一下這個項目，總結(jié)了它的一些特點，有耐心的老鐵可以接著往下看：

1

功能豐富效果佳

PP-Tracking內(nèi)置DeepSORT[6]、JDE[7]與FairMOT[8]三種主流高精度多目標跟蹤模型，并針對產(chǎn)業(yè)痛點、結(jié)合實際落地場景進行一系列拓展和優(yōu)化，覆蓋多類別跟蹤、跨鏡跟蹤、流量統(tǒng)計等功能與應(yīng)用，可謂是精度、性能、功能豐富樣樣俱全~

• 單鏡頭跟蹤

  
  

單鏡頭下的單類別目標跟蹤是指在單個鏡頭下，對于同一種類別的多個目標進行連續(xù)跟蹤，是跟蹤任務(wù)的基礎(chǔ)。針對該任務(wù)，PP-Tracking基于端到端的One Shot高精模型FairMOT[8]，替換為更輕量的骨干網(wǎng)絡(luò)HRNetV2-W18，采用多種Tricks，如Sync_BN與EMA，保持性能的同時大幅提高了精度，并且擴大訓(xùn)練數(shù)據(jù)集，減小輸入尺寸，最終實現(xiàn)服務(wù)端輕量化模型在權(quán)威數(shù)據(jù)集MOT17上精度達到MOTA 65.3，在NVIDIA Jetson NX上速度達到23.3FPS，GPU上速度可達到60FPS！同時，針對對精度要求較高的場景，PP-Tracking還提供了精度高達MOTA75.3的高精版跟蹤模型~

視頻引用公開數(shù)據(jù)集[3]

• 多類別跟蹤

  
  

PP-Tracking不僅高性能地實現(xiàn)了單鏡頭下的單類別目標跟蹤，更針對多種不同類別的目標跟蹤場景，增強了特征匹配模塊以適配不同類別的跟蹤任務(wù)，實現(xiàn)跟蹤類別覆蓋人、自行車、小轎車、卡車、公交、三輪車等上十種目標，精準實現(xiàn)多種不同種類物體的同時跟蹤。

視頻引用公開數(shù)據(jù)集[2]

• 跨鏡頭跟蹤

  
  

安防場景常常會涉及在多個鏡頭下對于目標物體的持續(xù)跟蹤。當(dāng)目標從一個鏡頭切換到另一個鏡頭，往往會出現(xiàn)目標跟丟的情況，這時，一個效果好速度快的跨鏡頭跟蹤算法就必不可少了！PP-Tracking中提供的跨鏡頭跟蹤能力基于DeepSORT[6]算法，采用了百度自研的輕量級模型PP-PicoDet和PP-LCNet分別作為檢測模型和ReID模型，配合軌跡融合算法，保持高性能的同時也兼顧了高準確度，實現(xiàn)在多個鏡頭下緊跟目標，無論鏡頭如何切換、場景如何變換，也能準確跟蹤目標的效果。

視頻引用公開數(shù)據(jù)集[2]

• 流量監(jiān)測

  
  

與此同時，針對智慧城市中的高頻場景—人/車流量監(jiān)測，PP-Tracking也提供了完整的解決方案，應(yīng)用服務(wù)器端輕量級版FairMOT[8]模型預(yù)測得到目標軌跡與ID信息，實現(xiàn)動態(tài)人流/車流的實時去重計數(shù)，并支持自定義流量統(tǒng)計時間間隔。

為了滿足不同業(yè)務(wù)場景下的需求，如商場進出口人流監(jiān)測、高速路口車流量監(jiān)測等，PP-Tracking更是提供了出入口兩側(cè)流量統(tǒng)計方式~

視頻引用公開數(shù)據(jù)集[2]

2

復(fù)雜場景覆蓋全

• 行人、車輛跟蹤

  
  

智慧交通中，行人和車輛的場景尤為廣泛，因此PP-Tracking針對行人和車輛，提供對應(yīng)的預(yù)訓(xùn)練模型，大幅降低開發(fā)成本，節(jié)省訓(xùn)練時間和數(shù)據(jù)成本，實現(xiàn)業(yè)務(wù)場景直接推理，算法即應(yīng)用的效果！不僅如此，PP-Tracking支持顯示目標軌跡，更直觀地輔助實現(xiàn)高效的路徑規(guī)劃分析。

視頻引用公開數(shù)據(jù)集[2]

• 人頭跟蹤

  
  

不僅如此，除了在日常跟蹤任務(wù)中擁有極強的通用性，針對實際業(yè)務(wù)中常常出現(xiàn)目標遮擋嚴重等問題，PP-Tracking也進行了一系列優(yōu)化，提供了基于FairMOT[8]訓(xùn)練的人頭跟蹤模型，并在Head Tracking 2021數(shù)據(jù)集榜單位居榜首，助力PP-Tracking靈活適配各類行人場景。

視頻引用公開數(shù)據(jù)集[5]

• 小目標跟蹤

  
  

針對小目標出現(xiàn)在大尺幅圖像中的產(chǎn)業(yè)常見難題場景，PP-Tracking進行了一系列的優(yōu)化，提供專門針對小目標跟蹤的預(yù)訓(xùn)練模型，實現(xiàn)在特殊場景，如無人機等航拍場景下，也能達到較為精準的效果~

視頻引用公開數(shù)據(jù)集[2]

3

兩種使用模式，訓(xùn)練推理靈活掌握

為了滿足不同的開發(fā)需求，PP-Tracking支持兩種使用方式，無論是想通過代碼調(diào)用/訓(xùn)練模型，進行快速推理部署，還是想要零代碼直接上手使用功能，PP-Tracking通通滿足你！

• API代碼調(diào)用：API簡潔易用，支持模型調(diào)用、訓(xùn)練與推理部署，最大程度降低開發(fā)成本的前提下，靈活適配各類場景與任務(wù)。

  
  

• 可視化開發(fā)界面：支持單鏡頭下的單、多目標跟蹤，并覆蓋小目標、人/車流量統(tǒng)計等復(fù)雜場景及應(yīng)用，無需任何開發(fā)，即可直接體驗功能，便于集成于各類硬件。

  
  

更貼心的是，PP-Tracking支持Python、C 兩種部署語言，同時提供使用飛槳原生推理庫Paddle Inference和飛槳服務(wù)化推理框架Paddle Serving的保姆級部署教程，真正意義上打通從訓(xùn)練、推理到部署的全流程。

4

產(chǎn)業(yè)場景快速融合

這么厲害的實時跟蹤系統(tǒng)在實際落地中的表現(xiàn)如何呢？接下來，讓我們看看PP-Tracking的實際業(yè)務(wù)落地效果吧~

以人流量計數(shù)為例，在上海音智達公司的實際業(yè)務(wù)中，使用PP-Tracking中的服務(wù)端輕量化版FairMOT[8]，結(jié)合人流量計數(shù)功能，快速實現(xiàn)商圈出入口的實時人流量去重計數(shù)。

視頻引用公開數(shù)據(jù)集[3]

被應(yīng)用于自動駕駛、安防、交通、城市等多種領(lǐng)域的目標跟蹤你學(xué)會了么？想要深入了解案例細節(jié)？掌握跟蹤的應(yīng)用？快報名直播課程吧！

深入直播講解

為了讓開發(fā)者們更深入的了解PP-Tracking這套多功能的跟蹤系統(tǒng)，解決產(chǎn)業(yè)應(yīng)用難點以及掌握產(chǎn)業(yè)實踐的核心能力，飛槳團隊精心準備了為期四天的直播課程！

11月23日-26日19:00-20:00，百度資深高工將深入解讀通用目標檢測的基礎(chǔ)理論與實踐、超輕人體關(guān)鍵點模型的理論及應(yīng)用，并全方位解析實時跟蹤系統(tǒng)，對各類痛難點解決方案進行手把手拆解，更有直播現(xiàn)場為大家答疑解惑，還在等什么！抓緊掃碼上車吧！

掃碼報名直播課，加入技術(shù)交流群

精彩內(nèi)容搶先看

圖片數(shù)據(jù)引用說明

[1] Yu F, Chen H, Wang X, et al. Bdd100k: A diverse driving dataset for heterogeneous multitask learning[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 2636-2645.

[2] Zhu P, Wen L, Du D, et al. Vision meets drones: Past, present and future[J]. arXiv preprint arXiv:2001.06303, 2020.

[3] Milan A, Leal-Taixé L, Reid I, et al. MOT16: A benchmark for multi-object tracking[J]. arXiv preprint arXiv:1603.00831, 2016.

[4] Bai H, Cheng W, Chu P, et al. GMOT-40: A Benchmark for Generic Multiple Object Tracking[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 6719-6728.

[5] Sundararaman R, De Almeida Braga C, Marchand E, et al. Tracking Pedestrian Heads in Dense Crowd[C]//Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2021: 3865-3875.

模型引用說明

[6] DeepSORT: Veeramani B, Raymond J W, Chanda P. DeepSort: deep convolutional networks for sorting haploid maize seeds[J]. BMC bioinformatics, 2018, 19(9): 1-9.

[7] JDE: Wang Z, Zheng L, Liu Y, et al. Towards real-time multi-object tracking[C]//Computer Vision–ECCV 2020: 16th European Conference, Glasgow, UK, August 23–28, 2020, Proceedings, Part XI 16. Springer International Publishing, 2020: 107-122.

[8] FairMOT: Zhang Y, Wang C, Wang X, et al. Fairmot: On the fairness of detection and re-identification in multiple object tracking[J]. International Journal of Computer Vision, 2021: 1-19.