當(dāng)前位置:首頁 > 公眾號精選 > 嵌入式微處理器
[導(dǎo)讀]通過帥氣的手勢,操控投影在眼前的電子成像,這不就是科幻片里的基礎(chǔ)配置嘛?,F(xiàn)在,有人把它從科幻電影中帶入了現(xiàn)實(shí)。動動手指,實(shí)現(xiàn)對眼前世界的掌控。熱衷于制作智能小物件的油管博主TeemuLaurila,利用樹莓派DIY了一副可識別自定義手勢的AR眼鏡。將自己想設(shè)置的手勢錄入裝置,即可...


通過帥氣的手勢,操控投影在眼前的電子成像,這不就是科幻片里的基礎(chǔ)配置嘛。



現(xiàn)在,有人把它從科幻電影中帶入了現(xiàn)實(shí)。動動手指,實(shí)現(xiàn)對眼前世界的掌控。


熱衷于制作智能小物件的油管博主Teemu Laurila,利用樹莓派DIY了一副可識別自定義手勢的AR眼鏡。



將自己想設(shè)置的手勢錄入裝置,即可實(shí)現(xiàn)炫酷操作。



我有了一個大膽的想法!





自制AR眼鏡中的世界

先開始表演吧!


捏住手指上下拉,就可以完成調(diào)整亮度指令。(這是你的第一人稱視角)



對手勢識別,疊加顯示在鏡頭成像中。



再來一個更直觀點(diǎn)的視角,通過眼鏡看看效果。





DIY過程

AR眼鏡本身就充滿了科技感,讓現(xiàn)實(shí)世界充滿賽博朋克的味道。


那不如更炫酷一點(diǎn)。打個響指,就能運(yùn)行命令,這不必博人傳燃?


說干就干,首先需要設(shè)計(jì)出,裝置會包含有哪些部分。



除了本體眼鏡框架,硬件部分還包括了透鏡組,0.6 mm PETG投影鏡片,配件部分由聚乳酸材料3D打印制成。


畢竟它是智能裝置的DIY,怎么可以不請萬能迷你電腦樹莓派出場。


而軟件部分,手勢識別程序依賴于python開源項(xiàng)目MediaPipe。


除此之外,Teemu Laurila還寫了兩個程序腳本。


一個是通過捏手指控制亮度的應(yīng)用示例,另一個是捕獲實(shí)時(shí)視頻中的手勢傳送到電腦進(jìn)行處理,并通過智能眼鏡疊加顯示。


條件都齊了,那么動手組裝起來試試。


經(jīng)歷多次調(diào)整,各部分零件最終組合成如下裝置。



想讓程序在裝置上可用,首先,需要一個樹莓派作為程序支持。


隨后設(shè)置好內(nèi)存、驅(qū)動、運(yùn)行環(huán)境、多媒體接口、網(wǎng)絡(luò)等條件,讓整個裝置超頻運(yùn)行。


硬件軟件環(huán)境都準(zhǔn)備好以后,調(diào)試應(yīng)用程序。


應(yīng)用程序功能的核心——手勢識別模型由3個框架組成,包括手掌識別模型BlazePalm(用于識別手的整體框架和方向)、Landmark模型(識別立體手部節(jié)點(diǎn))、手勢識別模型(將識別到的節(jié)點(diǎn)分類成一系列手勢)。


識別算法的訓(xùn)練過程中,BlazePalm模型識別手掌初始位置,對移動端的實(shí)時(shí)識別進(jìn)行優(yōu)化。


在BlazePalm識別到的手掌范圍內(nèi),Landmark模型識別其中21個立體節(jié)點(diǎn)坐標(biāo)。


手勢識別模型則在此基礎(chǔ)上,根據(jù)關(guān)節(jié)角度識別每根手指狀態(tài),將狀態(tài)映射到預(yù)定義的手勢上,預(yù)測基礎(chǔ)靜態(tài)手勢。


通過樹莓派Zero W,對手勢信息捕獲。圖像信息傳輸?shù)诫娔X中,由手勢識別AI進(jìn)行處理。之后再傳達(dá)給裝置,發(fā)出對應(yīng)的手勢命令,并同步在投影圖像中。




它的前世今生

等一下,有攝像頭,有微型投影儀,還有電腦處理器,并且還是一側(cè)投影顯示。這樣的AR眼鏡好像在哪里見過。

沒錯,就連用到的手勢識別代碼也都是谷歌開源的。


雖然沒有谷歌智能眼鏡類似智能手機(jī)的功能,但是相比其語音控制和觸控功能,Teemu Laurila的智能眼鏡選擇了使用自定義手勢觸發(fā)命令,更多一分黑科技的味道。


另外,谷歌眼鏡攝像頭只用來拍照錄像,Teemu Laurila的攝像頭還承擔(dān)了接受手勢指令、傳達(dá)指令功能。同時(shí),投影也選擇了更大尺寸的方形鏡片,方便視野觀察。


這款裝置已經(jīng)是Teemu Laurila完成的第二版智能眼鏡,在外觀和性能上均有優(yōu)化。


材料的選擇上,采用了0.6mm厚度投影鏡片替代1mm厚度;以聚乳酸材料代替丙烯酸;增加了螺栓固定支架,棄用膠水。


最重要的優(yōu)化是,照相機(jī)使用方形透鏡讓畫面更清晰。



Teemu Laurila將自己補(bǔ)充的兩段代碼,分享在了GitHub平臺,供感興趣的觀眾自己復(fù)刻。


參考鏈接:
https://www.tomshardware.com/news/raspberry-pi-smart-glasses-recognize-hand-gestures
https://www.youtube.com/watch?v=60Os5Iqdbsw
https://www.youtube.com/watch?v=Gu4oOYo38rQ

GitHub鏈接:
https://github.com/Teneppa/CameraStream
https://github.com/Teneppa/HandTrackingBrightnessControl


END
來源:量子位版權(quán)歸原作者所有,如有侵權(quán),請聯(lián)系刪除。
嵌入式ARM

掃描二維碼,關(guān)注更多精彩內(nèi)容

本站聲明: 本文章由作者或相關(guān)機(jī)構(gòu)授權(quán)發(fā)布,目的在于傳遞更多信息,并不代表本站贊同其觀點(diǎn),本站亦不保證或承諾內(nèi)容真實(shí)性等。需要轉(zhuǎn)載請聯(lián)系該專欄作者,如若文章內(nèi)容侵犯您的權(quán)益,請及時(shí)聯(lián)系本站刪除。
換一批
延伸閱讀

9月2日消息,不造車的華為或?qū)⒋呱龈蟮莫?dú)角獸公司,隨著阿維塔和賽力斯的入局,華為引望愈發(fā)顯得引人矚目。

關(guān)鍵字: 阿維塔 塞力斯 華為

加利福尼亞州圣克拉拉縣2024年8月30日 /美通社/ -- 數(shù)字化轉(zhuǎn)型技術(shù)解決方案公司Trianz今天宣布,該公司與Amazon Web Services (AWS)簽訂了...

關(guān)鍵字: AWS AN BSP 數(shù)字化

倫敦2024年8月29日 /美通社/ -- 英國汽車技術(shù)公司SODA.Auto推出其旗艦產(chǎn)品SODA V,這是全球首款涵蓋汽車工程師從創(chuàng)意到認(rèn)證的所有需求的工具,可用于創(chuàng)建軟件定義汽車。 SODA V工具的開發(fā)耗時(shí)1.5...

關(guān)鍵字: 汽車 人工智能 智能驅(qū)動 BSP

北京2024年8月28日 /美通社/ -- 越來越多用戶希望企業(yè)業(yè)務(wù)能7×24不間斷運(yùn)行,同時(shí)企業(yè)卻面臨越來越多業(yè)務(wù)中斷的風(fēng)險(xiǎn),如企業(yè)系統(tǒng)復(fù)雜性的增加,頻繁的功能更新和發(fā)布等。如何確保業(yè)務(wù)連續(xù)性,提升韌性,成...

關(guān)鍵字: 亞馬遜 解密 控制平面 BSP

8月30日消息,據(jù)媒體報(bào)道,騰訊和網(wǎng)易近期正在縮減他們對日本游戲市場的投資。

關(guān)鍵字: 騰訊 編碼器 CPU

8月28日消息,今天上午,2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會開幕式在貴陽舉行,華為董事、質(zhì)量流程IT總裁陶景文發(fā)表了演講。

關(guān)鍵字: 華為 12nm EDA 半導(dǎo)體

8月28日消息,在2024中國國際大數(shù)據(jù)產(chǎn)業(yè)博覽會上,華為常務(wù)董事、華為云CEO張平安發(fā)表演講稱,數(shù)字世界的話語權(quán)最終是由生態(tài)的繁榮決定的。

關(guān)鍵字: 華為 12nm 手機(jī) 衛(wèi)星通信

要點(diǎn): 有效應(yīng)對環(huán)境變化,經(jīng)營業(yè)績穩(wěn)中有升 落實(shí)提質(zhì)增效舉措,毛利潤率延續(xù)升勢 戰(zhàn)略布局成效顯著,戰(zhàn)新業(yè)務(wù)引領(lǐng)增長 以科技創(chuàng)新為引領(lǐng),提升企業(yè)核心競爭力 堅(jiān)持高質(zhì)量發(fā)展策略,塑強(qiáng)核心競爭優(yōu)勢...

關(guān)鍵字: 通信 BSP 電信運(yùn)營商 數(shù)字經(jīng)濟(jì)

北京2024年8月27日 /美通社/ -- 8月21日,由中央廣播電視總臺與中國電影電視技術(shù)學(xué)會聯(lián)合牽頭組建的NVI技術(shù)創(chuàng)新聯(lián)盟在BIRTV2024超高清全產(chǎn)業(yè)鏈發(fā)展研討會上宣布正式成立。 活動現(xiàn)場 NVI技術(shù)創(chuàng)新聯(lián)...

關(guān)鍵字: VI 傳輸協(xié)議 音頻 BSP

北京2024年8月27日 /美通社/ -- 在8月23日舉辦的2024年長三角生態(tài)綠色一體化發(fā)展示范區(qū)聯(lián)合招商會上,軟通動力信息技術(shù)(集團(tuán))股份有限公司(以下簡稱"軟通動力")與長三角投資(上海)有限...

關(guān)鍵字: BSP 信息技術(shù)
關(guān)閉
關(guān)閉