使用ESP32和Gemini REST API語音輸入調(diào)用帶有自定義參數(shù)的函數(shù)

時(shí)間：2025-03-07 23:52:53

關(guān)鍵字： ESP32 Gemini REST API LED

手機(jī)看文章

掃描二維碼
隨時(shí)隨地手機(jī)看文章

[導(dǎo)讀]在之前的教程中，我介紹了如何通過REST將ESP32連接到谷歌Gemini API以發(fā)送音頻文件并對(duì)其進(jìn)行轉(zhuǎn)錄。在本教程中，我將擴(kuò)展到實(shí)際使用錄制的音頻而不是轉(zhuǎn)錄它-在這種情況下，打開和關(guān)閉LED環(huán)，加上根據(jù)語音命令改變LED的顏色。雖然我只是在操縱一個(gè)LED環(huán)，但你可以用這里使用的技術(shù)(稱為函數(shù)調(diào)用)做任何事情，從控制電機(jī)到對(duì)在線服務(wù)提出額外請(qǐng)求。

我們?cè)诮ㄔ焓裁?

在之前的教程中，我介紹了如何通過REST將ESP32連接到谷歌Gemini API以發(fā)送音頻文件并對(duì)其進(jìn)行轉(zhuǎn)錄。在本教程中，我將擴(kuò)展到實(shí)際使用錄制的音頻而不是轉(zhuǎn)錄它-在這種情況下，打開和關(guān)閉LED環(huán)，加上根據(jù)語音命令改變LED的顏色。雖然我只是在操縱一個(gè)LED環(huán)，但你可以用這里使用的技術(shù)(稱為函數(shù)調(diào)用)做任何事情，從控制電機(jī)到對(duì)在線服務(wù)提出額外請(qǐng)求。

在之前的教程中，我使用這些連接設(shè)置了一個(gè)設(shè)備：

現(xiàn)在唯一的區(qū)別是，我從Adafruit添加了一個(gè)24新像素的環(huán)，電源線在相同的3.3v軌道上，GND到GND，數(shù)據(jù)線在ESP32引腳D15上。

為了簡(jiǎn)單起見，這也是上一篇教程結(jié)束時(shí)使用的代碼，您可以將其作為本演練的起點(diǎn)。

什么是函數(shù)調(diào)用?

很好，在我們深入了解新內(nèi)容之前，讓我們先談?wù)労瘮?shù)調(diào)用。本質(zhì)上，這是一種告訴Gemini API你在程序中有一些自定義函數(shù)定義的方法然后Gemini可以根據(jù)用戶的輸入/請(qǐng)求決定調(diào)用其中的任何一個(gè)。您可以通過向POST到API的JSON中添加新屬性來實(shí)現(xiàn)這一點(diǎn)。這是這個(gè)燈的例子中JSON的樣子。

您可以在這里看到，您需要發(fā)送將要調(diào)用的函數(shù)的名稱、函數(shù)的描述，以便Gemini API知道何時(shí)適合調(diào)用它，還可以選擇發(fā)送一個(gè)屬性列表，這些屬性可以傳遞給函數(shù)，以便自定義它的工作方式。您還可以要求在調(diào)用函數(shù)時(shí)發(fā)送這些屬性。

新代碼

好了，現(xiàn)在我們已經(jīng)有了基本的概念，讓我們更新音頻錄制代碼來處理函數(shù)調(diào)用!讓我們首先將Adafruit NeoPixel庫添加到類的頂部，以及定義LED環(huán)使用的引腳，該環(huán)上有多少NeoPixels，以及LED使用的紅/綠/藍(lán)顏色的一些默認(rèn)值。我們還需要定義neoppixel控制器對(duì)象。

進(jìn)入setup()函數(shù)，我們只需要初始化pixels對(duì)象并將led設(shè)置為默認(rèn)的關(guān)閉狀態(tài)。

我們還將添加一個(gè)名為toggleLights(bool on)的新函數(shù)，用于在Gemini API觸發(fā)時(shí)切換燈的打開或關(guān)閉。

現(xiàn)在我們可以進(jìn)入函數(shù)調(diào)用的核心代碼。進(jìn)入createAudioJsonRequest()函數(shù)并將其替換為以下代碼：

雖然看起來這里有很多事情要做，但它主要只是從SD卡讀取音頻數(shù)據(jù)，然后構(gòu)建您可以在教程前面看到的JSON結(jié)構(gòu)。

最后，我將transcribeAudio()函數(shù)重命名為sendAudio()?，F(xiàn)在我們可以檢查functionCall參數(shù)是否存在于響應(yīng)中，而不是打印返回的音頻文本，找出正在調(diào)用的函數(shù)，然后提取該函數(shù)的參數(shù)以對(duì)它們進(jìn)行處理。在本例中，我正在檢查toggleLights，它將包含一個(gè)布爾值，用于指示燈是否應(yīng)該打開，并且我將該值傳遞給toggleLights()函數(shù)。除此之外，我正在監(jiān)聽Gemini API將“changeColor”作為一個(gè)functionCall值發(fā)回。如果成功了，我就從參數(shù)中提取紅色、綠色和藍(lán)色值并保存它們，然后用這些保存的值打開燈。你可以在這里看到整個(gè)函數(shù)：