如何只使用手勢繪制3D圖像

該項(xiàng)目使您能夠使用手勢在3D中繪制，雕刻和制作陶器，在全息圖中查看并導(dǎo)出3D打印。

本文檔探討了我們項(xiàng)目的不同階段，在MDEF碩士課程的IAAC Microchallenge II研討會期間開發(fā)的3D手繪畫布。這個(gè)項(xiàng)目一開始是一個(gè)簡單的想法，從我們過去的經(jīng)驗(yàn)中產(chǎn)生的類似的切線(一個(gè)涉及使用手勢的2D繪圖，另一個(gè)涉及以全息格式可視化手部運(yùn)動(dòng))，但制作一個(gè)更可行的工具，允許實(shí)時(shí)3D繪圖，被可視化為全息圖，然后轉(zhuǎn)化為可打印的3D模型。

為了實(shí)現(xiàn)這一點(diǎn)，我們開始嘗試各種不同的軟件工具和編程語言，改進(jìn)我們的方法以找到最有效的解決方案。雖然這個(gè)項(xiàng)目并不完美，但它在一定程度上是有效的，并為我們提供了寶貴的學(xué)習(xí)點(diǎn)和經(jīng)驗(yàn)，作為一個(gè)團(tuán)隊(duì)和未來努力的燃料。

在本文檔中，我們將走過我們旅程的每一步，從概念到執(zhí)行，分享一路上獲得的挑戰(zhàn)，發(fā)現(xiàn)和見解。

Github鏈接：AuxenceD/HAND-3D-DRAWING：這個(gè)存儲庫是我們在IAAC， MDEF大師的微挑戰(zhàn)II周期間的所有工作。我們嘗試只用手繪制3D圖像，用手識別，我們使用了python， mediapipe， opencv和pygame。

使用p5.js的前幾個(gè)(三個(gè))方法

在項(xiàng)目的初始階段，我們考慮過使用p5.js來探索實(shí)驗(yàn)的潛力。我們每個(gè)人都專注于不同的方面：一個(gè)人使用手勢識別進(jìn)行2D繪圖，而另一個(gè)人使用鼠標(biāo)控制探索空間中的3D繪圖，最終能夠?qū)烧呓Y(jié)合在一起。

最初的方法之一是嘗試在一個(gè)象限系統(tǒng)中以對稱和旋轉(zhuǎn)的方式復(fù)制相同的繪圖，以便能夠使用放置在屏幕中心的簡單DIY全息圖來觀察投影是如何工作的。從那里開始，我們開始可視化并在明顯的3D空間中進(jìn)行更改。

我們在p5.js中面臨的主要挑戰(zhàn)之一是深度感知。當(dāng)嘗試使用鼠標(biāo)繪制3D時(shí)，系統(tǒng)通常會將筆畫解釋為在同一平面上，從而難以創(chuàng)建真正的深度。為了解決這個(gè)問題，我們嘗試實(shí)現(xiàn)一個(gè)可移動(dòng)的2D平面，它將根據(jù)面對相機(jī)的平面改變方向，允許用戶在2D中繪制，但在3D中影響整個(gè)空間。然而，這種解決方案也被證明是不可靠和難以控制的，因?yàn)閳D紙變得過于復(fù)雜和難以管理。

最終，我們設(shè)法創(chuàng)建了一種3D繪圖形式，但結(jié)果是不可預(yù)測的和不一致的，因?yàn)槔L圖只能粘在平面上，并且繪圖的平移變得困難。由于缺乏精確性和可控性，p5.js對我們的愿景有很大的限制，這促使我們?nèi)ヌ剿髌渌墓ぞ吆头椒ā?

所以在所有這些嘗試之后，我們決定嘗試另一個(gè)軟件。

探索Three.js

在面對p5.js的限制后，我們轉(zhuǎn)向Three.js，一個(gè)專門為3D渲染設(shè)計(jì)的庫。起初，它似乎是我們項(xiàng)目的一個(gè)很有前途的工具，為在空間中創(chuàng)建3D繪圖提供了更大的靈活性和精度。

然而，我們很快就遇到了一個(gè)主要的挑戰(zhàn)：我們不熟悉Three.js，并且將它與MediaPipe和opencv(主要用于python)集成起來非常困難。盡管探索了各種各樣的資源，但我們發(fā)現(xiàn)很少能直接滿足我們的特定需求。

由于這些障礙和陡峭的學(xué)習(xí)曲線，我們決定在早期放棄這種方法，并尋找更適合我們的工作流程和技術(shù)限制的替代解決方案。

在Blender上運(yùn)行Python， OpenCV和MediaPipe

我們探索的另一種方法是將Python， OpenCV和MediaPipe集成到Blender中，直接在3D環(huán)境中繪制線條。這似乎是一個(gè)有趣的解決方案，因?yàn)锽lender提供了一個(gè)強(qiáng)大的3D空間，使用Python可以讓我們更有效地利用手部跟蹤和計(jì)算機(jī)視覺工具。

然而，我們很快就遇到了兼容性問題。Blender需要特定版本的Python和OpenCV，而MediaPipe有自己的版本依賴。試圖讓所有東西一起工作變成了一個(gè)令人沮喪的過程，因?yàn)榻鉀Q一個(gè)問題往往會產(chǎn)生另一個(gè)問題。我們花了很多時(shí)間來排除這些沖突，但在實(shí)現(xiàn)我們的實(shí)際目標(biāo)方面進(jìn)展甚微。

由于這些持續(xù)的技術(shù)障礙，我們決定不直接在Blender中運(yùn)行我們的Python代碼，而是尋找替代的工作流程來實(shí)現(xiàn)我們想要的結(jié)果。

用Python和Pygame繪制3D

經(jīng)過多次迭代和使用其他工具的失敗嘗試，我們最終使用Python和Pygame在3D空間中繪制。通過利用Pygame可視化3D環(huán)境，我們能夠創(chuàng)建一個(gè)用戶可以自由繪制的交互式空間。

我們的第一個(gè)突破是成功地使用鼠標(biāo)繪制3D線條，同時(shí)允許實(shí)時(shí)旋轉(zhuǎn)環(huán)境。這對我們之前的p5.js嘗試來說是一個(gè)重大的改進(jìn)，因?yàn)樗屛覀兛梢酝耆刂粕疃群鸵暯?。然而，在我們讓它正常工作之前，?shí)現(xiàn)這個(gè)功能需要多次迭代。在我們的GitHub存儲庫中，該功能在文件draw3d.py中實(shí)現(xiàn)。

一旦我們用鼠標(biāo)進(jìn)行了基本的3D繪圖，我們就轉(zhuǎn)向了更高級的交互方法：使用MediaPipe和OpenCV進(jìn)行手動(dòng)跟蹤來繪制和控制攝像機(jī)。經(jīng)過多次改進(jìn)，我們得到了一個(gè)令人信服的結(jié)果，盡管還有很大的改進(jìn)空間

我們的系統(tǒng)的核心依賴于一個(gè)動(dòng)態(tài)繪圖平面，它總是垂直于相機(jī)的法線。當(dāng)攝像機(jī)移動(dòng)時(shí)，平面也隨之移動(dòng)，確保繪圖面與用戶的視角相適應(yīng)。平面的坐標(biāo)存儲在一個(gè)矩陣中，并根據(jù)相機(jī)的方向不斷更新。

對于基于手勢的繪圖，我們檢測拇指和食指之間的距離。如果這個(gè)距離低于預(yù)定義的閾值(即用戶正在進(jìn)行“捏”動(dòng)作)，則創(chuàng)建點(diǎn)并與線條連接，形成連續(xù)的繪圖。

為了增強(qiáng)功能，我們還實(shí)現(xiàn)了：

截圖捕獲以保存繪圖的不同階段。

3D對象導(dǎo)入，允許用戶在現(xiàn)有模型周圍繪制。

出口。obj格式，使得在Blender或Rhino等軟件中打開和修改圖紙成為可能。

這種方法最終為我們提供了我們一直在尋找的靈活性和深度控制，使我們更接近我們最初的直觀，手動(dòng)控制的3D繪圖工具的愿景。

現(xiàn)在，結(jié)合捏(左手食指和拇指)繞3D空間旋轉(zhuǎn)和平移的能力，以及捏(右手食指和拇指)繪圖的能力，我們終于可以創(chuàng)建一個(gè)3D功能環(huán)境，也可以生成3D表面，這取決于你能畫得多好。

探索新的應(yīng)用：數(shù)字陶器

由于我們達(dá)到了我們的初始目標(biāo)早于預(yù)期，我們決定探索替代方法來使用我們的3D繪圖系統(tǒng)。其中一個(gè)想法是模擬陶輪來創(chuàng)造數(shù)字陶器形式。

為了實(shí)現(xiàn)這一目標(biāo)，我們修改了環(huán)境，使其以恒定的速度旋轉(zhuǎn)，模仿傳統(tǒng)陶輪的運(yùn)動(dòng)。當(dāng)我們在空間中繪畫時(shí)，我們的筆觸形成了圓形圖案，使我們能夠塑造類似3D陶器形式的東西，而你仍然可以像以前一樣(使用你的食指和右手拇指)平移和旋轉(zhuǎn)。

然而，我們很快就遇到了一個(gè)限制：我們的圖紙仍然只是線條，而不是真正的3D表面。這意味著，雖然我們可以可視化陶器形狀，但它們不能直接3D打印。

我們進(jìn)行了研究，做了幾次試驗(yàn)，直到我們終于有了突破。所以，我們有不同的制陶方法：

1. 第一種模式允許你在預(yù)先設(shè)想的表面上進(jìn)行雕刻，你可以根據(jù)你捏在一起的手指進(jìn)行添加和減去(食指和拇指添加，中指和拇指減去右手)。

2. 您可以通過使用相同的捏緊機(jī)制從頭開始創(chuàng)建3D可打印的網(wǎng)格。

以下是在游戲過程中可以幫助你的鍵盤快捷鍵：

?Esc：退出應(yīng)用程序

?C：清理圖紙

?R：復(fù)位相機(jī)(當(dāng)按下Ctrl鍵時(shí))。在Profile Pottery模式中，循環(huán)渲染模式(實(shí)體、線框、點(diǎn))。

?E：將3D模型導(dǎo)出為STL文件進(jìn)行3D打印

?G：從當(dāng)前的繪圖線生成曲面

?I：顯示繪圖信息(線數(shù)和面數(shù))

?左移或右移：在繪圖模式之間切換(線條，直接雕刻陶器，輪廓陶器)

?選項(xiàng)卡：循環(huán)通過活動(dòng)參考網(wǎng)格平面(XY， XZ， YZ)

?V：切換頂點(diǎn)的可見性(線與線之間的連接點(diǎn))

?空間：切換陶器旋轉(zhuǎn)開關(guān)(僅適用于陶器模式)

?P：在Profile Pottery模式下，切換Profile line的可見性

?Ctrl+Z：在Profile Pottery模式下，撤銷上次Profile的修改

?方向鍵(左，右，上，下)：移動(dòng)攝像機(jī)

?W：把鏡頭向前移動(dòng)(進(jìn)入場景)

?S：向后(移出鏡頭)

本文編譯自hackster.io