在DFRobot ESP32 S3相機上構建DIY語音控制GPT系統(tǒng)

曾經(jīng)希望使用DFRobot ESP32-S3 AI相機創(chuàng)建聲控ChatGPT嗎?這篇博客將指導你完成整個過程。我們將引導您完成以下步驟：通過內置麥克風收集用戶命令，將音頻保存為SD卡上的WAV文件，使用Deepgram API將音頻轉換為文本，查詢OpenAI的響應，并在串行終端中打印答案。

組件要求:

?DFRobot ESP32-S3 AI攝像頭

?MicroSD卡

?USB電纜

?安裝Arduino IDE的計算機

ESP32-S3 AI CAM概述：

ESP32-S3 AI CAM是一款基于ESP32-S3芯片的高級攝像頭模塊，專為視頻圖像處理和語音交互而設計。它在視頻監(jiān)控、邊緣圖像識別和語音對話等人工智能項目中表現(xiàn)出色。該模塊具有廣角紅外攝像頭，可全天候監(jiān)控，即使在低光條件下也能確保清晰的圖像。

內置麥克風和揚聲器，支持語音識別和對話，是智能家居和物聯(lián)網(wǎng)應用的理想選擇。此外，它還可以通過Wi-Fi連接到互聯(lián)網(wǎng)，通過云人工智能平臺實現(xiàn)圖像分類和自然語言對話等高級任務。

用Justway的3D打印服務開啟制造業(yè)的未來!

通過JUSTWAY的頂級3D打印服務，體驗創(chuàng)新和效率的頂峰。無論您是想創(chuàng)建詳細的原型，功能部件還是定制設計，我們都能為您提供幫助。

JUSTWAY的尖端技術，包括SLA， SLS， DLP， MJF， FDM和SLM，確保每一個打印的精度和質量。從各種材料中選擇，如樹脂，尼龍，金屬等，讓您的視覺栩栩如生。

受益于即時報價，無縫的在線訂單跟蹤，和專業(yè)的后處理服務。憑借快速的生產(chǎn)和可靠的交付，JUSTWAY是您所有3D打印需求的首選合作伙伴。

但是等等，還有更多!JUSTWAY還提供一系列其他一流的金屬3D打印服務，以補充您的制造要求：

?數(shù)控加工服務：高精度銑削，車削，電火花加工(EDM)復雜的零件。

?鈑金加工服務：根據(jù)您的規(guī)格定制鈑金零件。

?注塑成型服務：高品質，大批量生產(chǎn)各種材料的零件。

?表面精加工服務：通過專業(yè)的精加工選擇，提高零件的外觀和耐用性。

通過justway提升您的制造游戲-創(chuàng)新與完美的結合!

如何在JUSTWAY為您的3D模型下訂單

訂購您的3D模型JUSTWAY是簡單的。首先以可接受的格式準備您的3D CAD文件。訪問JUSTWAY網(wǎng)站，登錄或創(chuàng)建一個帳戶，并在“獲取即時報價”部分上傳您的設計。

選擇您的制造工藝，定制您的訂單與所需的材料和完成，并收到一個即時報價。確認細節(jié)，付款，并在線跟蹤您的訂單。

一旦您的訂單被放置，JUSTWAY將確保高質量的生產(chǎn)與嚴格的質量控制檢查。期望您的3D模型在指定的交貨期內交付。使用JUSTWAY，享受將您的3D模型帶入生活的便利和效率!

項目流程:

我計劃使用OpenAI或DeepSeek支持創(chuàng)建一個語音助手，包括向ESP32 S3 AI相機提出一個問題。相機將通過其內置的I2S PDM麥克風捕捉我們的請求，然后將錄音保存到SD卡上

然后我們可以使用DeepGram將音頻轉換為文本，然后我們可以使用OpenRouter來獲得答案。

步驟1：設置硬件

將MicroSD卡插入ESP32-S3 AI攝像機。

步驟2：設置軟件

安裝Arduino IDE：從官方網(wǎng)站下載并安裝最新版本的Arduino IDE。

安裝所需庫：打開Arduino IDE，安裝以下庫：

?SD

?HTTPClient

?WiFiClientSecure

?ArduinoJson

要安裝這些庫，請轉到Sketch > Include Library > Manage libraries，搜索每個庫，然后單擊install

步驟3：收集音頻數(shù)據(jù)

初始化麥克風：使用以下代碼初始化內置麥克風和錄制音頻命令。

下面的草圖可以錄制5秒的音頻，然后它也會將其保存為。wav文件在SD卡上，它通過內置揚聲器播放音頻。

步驟4：使用Deepgram API將音頻轉換為文本

注冊Deepgram API：登錄Deepgram網(wǎng)站，然后，注冊一個API密鑰。

發(fā)送音頻文件到Deepgram：使用以下代碼將WAV文件發(fā)送到Deepgram API并將音頻轉換為文本。

在這個代碼部分，您只需要輸入您的音頻文件。它將使用Deepgram將WAV文件轉換為文本。

步驟5：查詢OpenAI的響應

注冊OpenAI API：訪問OpenRouter網(wǎng)站并注冊一個API密鑰。

發(fā)送文本到OpenAI：使用以下代碼發(fā)送文本到OpenAI API并打印響應。

步驟6：整合一切

最終代碼：將前面的步驟合并到一個代碼庫中。

最后的輸出:

設置好所有內容后，只需打開串行終端并查找響應。

首先，它將連接到網(wǎng)絡，然后它將錄制5秒的音頻。然后它會使用deepGram將音頻轉換為文本，然后它會向OpenAI或DeepSeek查詢。

演示:

根據(jù)我的測試，結果很快就出來了。我的下一個計劃是使用ESP32 S3的揚聲器將響應轉換為音頻輸出。

使用案例

?無障礙解決方案：開發(fā)先進的人工智能助手，為身體殘疾的個人提供免提互動。

?智能家居自動化：通過語音命令控制家用電器，提高便利性

結論

恭喜你!您已經(jīng)使用OpenAI、DFRobot ESP32-S3 AI Camera和Deepgram API成功構建了語音命令ChatGPT。本指南提供了一個全面的演練，以幫助您創(chuàng)建和定制您的聲控AI助手。編碼快樂!

您可以隨意嘗試并添加更多功能，不要猶豫，分享您的項目和經(jīng)驗。如果您有任何問題或需要進一步的幫助，請隨時提出!

本文編譯自hackster.io