音樂大師聯(lián)手Siri構(gòu)建AI作曲家!根據(jù)環(huán)境、心情創(chuàng)作專屬BGM
根據(jù)環(huán)境和情緒播放合適的背景音樂,是動(dòng)漫里常見的情緒調(diào)動(dòng)套路。而現(xiàn)在,一款播放器或許也可以隨時(shí)隨地創(chuàng)作屬于你的BGM!
Philip Sheppard是一位杰出的作曲家,他錄制過大提琴獨(dú)奏專輯,已經(jīng)創(chuàng)作了60多個(gè)唱片,并為奧運(yùn)會(huì)獎(jiǎng)牌儀式改編過206首國(guó)歌。他對(duì)艾比路錄音工作室(Abbey Road Studio)的每個(gè)角落都了如指掌。雖然他的工作是創(chuàng)作音樂,但有些時(shí)候他也只是在傾聽別人的音樂,尤其是當(dāng)他在樹林里散步的時(shí)候。
在2016年的一次散步時(shí),他不想由自己來選擇播放哪種音樂。相反,他想象著某種神奇的音樂在他的耳機(jī)中自動(dòng)響起,這個(gè)音樂可以動(dòng)態(tài)地反映出他所處的周圍環(huán)境和他的心情——這將是他閑逛時(shí)的真實(shí)配樂。當(dāng)溫暖的日光穿過樹林,小提琴奏出顫音,旋律隨之飛揚(yáng),而長(zhǎng)笛則會(huì)與鳥鳴聲一起啼囀。
“讓音樂跟隨我的心情,而不是由我自己來選擇播放哪首音樂?!彼f,“此外,當(dāng)我改變方向準(zhǔn)備回家,或太陽(yáng)落山時(shí),我希望音樂也能隨之改變?!?/p>
為此,該系統(tǒng)不僅必須能夠處理多個(gè)輸入(比如聲音,視覺,生物識(shí)別,速度,天氣信息),還必須充分理解音樂,這樣才能將這些輸入轉(zhuǎn)換為連貫的音樂變化。Sheppard試圖這樣來概括——那些潛在的輸入可能會(huì)改變對(duì)音樂最基本的解釋。但是,如果想真正實(shí)現(xiàn)這個(gè)想法,他還需要一位人工智能專家。
幸運(yùn)的是,Sheppard知道最合適的人選是誰:Tom Gruber。他是Siri智能助手的共同創(chuàng)造者,后來成為蘋果公司的AI高級(jí)主管之一。Gruber在TED演講中提到過“人類AI”,以此敦促人與機(jī)器之間的協(xié)作。
他們兩人在2010年蒙特雷的一次會(huì)議上相識(shí),并成為了朋友。因此,在2017年,他們?cè)谑タ唆斔购0兑黄鹉⊿anta Cruz coast)散步時(shí),Sheppard向Gruber提出了這個(gè)想法。隨后他們成為了一家新公司的首席執(zhí)行官和首席技術(shù)官(Gruber于2018年離開了蘋果。)
三年后,LifeScore誕生了,它可以進(jìn)行音樂創(chuàng)作,可以與頂尖藝術(shù)家一起錄制歌曲,還可以向從視頻游戲到汽車制造商的各種企業(yè)開放音樂授權(quán)。
聽眾會(huì)聽到這些配樂的各種獨(dú)特組合,并即時(shí)進(jìn)行混音。在配樂作曲家將他們的作品同步到腳本上時(shí),LifeScore的作品由AI來指揮。
AI將琶音和輕柔的樂章與聽眾的體驗(yàn)實(shí)時(shí)匹配,以作曲家從未想過的方式,將音樂小節(jié)和樂器重新組合。
該公司將于本周四舉行公開亮相,屆時(shí)LifeScore將為Twitch平臺(tái)上腳本化真人實(shí)景劇的新一季進(jìn)行配樂伴奏。
是現(xiàn)場(chǎng)直播,由觀眾的反應(yīng)來決定音樂的風(fēng)格——“選出你自己的音樂奇遇”。也就是說,使用LifeScore,觀眾的反應(yīng)會(huì)影響音樂。
LifeScore的首席執(zhí)行官Philip Sheppard在艾比路錄音棚演奏大提琴
但這只是LifeScored 的雄心壯志剛剛被拉開的序幕:提供有意義的音樂體驗(yàn)。Sheppard說,作為作曲家,他最大的興奮來自于那些以前僅存在他腦海和音樂符號(hào)中的樂譜,逐漸被音樂家們轉(zhuǎn)化為聲音的過程。
他說:“作為一個(gè)創(chuàng)造者,這正是創(chuàng)作生涯的刺激所在?!?現(xiàn)在,他想為人們的日常活動(dòng)中也提供這些刺激。
“如果可以的話,我希望每個(gè)人每次聽音樂時(shí)都會(huì)發(fā)生這種情況?!彼f?!斑@樣人們就可以都成為能平衡多種因素的作曲家?!?/p>
但是,如果沒有另一個(gè)合作者AI,這一切都不會(huì)發(fā)生。Gruber和他的小型工程師團(tuán)隊(duì)負(fù)責(zé)創(chuàng)建一種引擎,該引擎可以接受各種輸入因素,并且即時(shí)重建樂譜(改變音調(diào)、節(jié)奏、樂器),還能讓聽眾聽起來似乎從一開始就是這種樂譜。
這些都需要讓LifeScore引擎通過學(xué)習(xí),成為一名音樂大師。他說:“這里當(dāng)然包括了音樂學(xué),背后是有理論作為支撐的。”
“這看起來很奇怪,但這是可行的?!?/p>
那么LifeScore究竟是如何做到的呢?就像其他音樂一樣,它始于人類創(chuàng)造者。Sheppard和Gruber都強(qiáng)調(diào),他們不希望像以前所做的一些嘗試那樣由算法自己編寫樂譜。
Gruber說:“我的整個(gè)職業(yè)生涯都是努力讓我們有所提高,而不是單純實(shí)現(xiàn)自動(dòng)化。世界上有很多音樂,還有很多音樂家。但是我們所沒有的,是那種與音樂交互,并幫助我們創(chuàng)作音樂的經(jīng)驗(yàn)?!?/p>
LifeScore的作曲家們必須清楚,他們不是音樂導(dǎo)演,而是合作者,他們要?jiǎng)?chuàng)造一個(gè)由AI引擎和聽眾自己輸入的因素來制作的音樂基底。
這些創(chuàng)作者并不是在譜寫?yīng)毩⒌慕豁懬蛄餍幸魳?,而是在?chuàng)作可以無休止進(jìn)行重組的作品。Sheppard說,這就像是在音樂上堆樂高積木。各種樂器可以單獨(dú)演奏,也可以用復(fù)雜的方式進(jìn)行編排,從而演奏出不同的音樂。
錄音室中幾個(gè)小時(shí)的音樂,通過這種方式可以延長(zhǎng)到數(shù)千小時(shí),并且無一重復(fù)。
Sheppard在他位于倫敦的客廳中通過Zoom向我展示了最終產(chǎn)品。在他身后,我看到他的大提琴靠在椅子上。
他穿著帶有霓虹黃色束帶的灰色連帽衫,開始為他的森林漫步創(chuàng)作一首合適的配樂。在他的iPhone上播放的新古典音樂清新明快,令人振奮。
他將手機(jī)向左擺動(dòng),音樂便響應(yīng)了陀螺儀的報(bào)告(Lifescore公司補(bǔ)充說,目前該系統(tǒng)還不能處理生物識(shí)別輸入,因此這樣做其實(shí)是“微不足道的”)
當(dāng)琴弦向天堂延伸,我們將會(huì)聽到更多美妙的聲音。他說:“現(xiàn)在,大提琴的聲音越過了頭頂——我們過去不會(huì)這樣創(chuàng)作,我以前從未聽過這種音樂。”
是測(cè)試LifeScore的理想工具。該劇講述了一個(gè)機(jī)器人和她的創(chuàng)作者的皮格馬利翁式故事,演員在現(xiàn)場(chǎng)表演,并通過觀眾的反饋來決定后續(xù)情節(jié)。
執(zhí)行制片人Bernie Su希望在新一輪上演期中有所改變,他說,他對(duì)Sheppard的LifeScore演示感到震驚。
Su解釋說:“每個(gè)角色都有特定的音樂主題,比如Peter和Wolf?!备鶕?jù)人們?cè)诹奶祛l道中明確表達(dá)的情緒,音樂主題會(huì)在四個(gè)情感類別中發(fā)生改變:快樂,悲傷,神秘,還有緊張。
(這種遲鈍的輸入形式將隨著時(shí)間而不斷變得更加復(fù)雜。最終,隨著AI識(shí)別能力的提升,LifeScore也許能充分理解自己應(yīng)該表達(dá)哪種音樂情感,從而更好地詮釋每一個(gè)場(chǎng)景的圖像,聲音和語言。)
可以理解如何將這些情感轉(zhuǎn)化為音樂語言的AI,也會(huì)相應(yīng)地改變樂譜,比如在聽眾緊張時(shí)放慢速度。這些情感類別中的每一類,都具有三個(gè)強(qiáng)度級(jí)別——許多反饋可以根據(jù)音量或樂器來增強(qiáng)音樂的聽感。
就像作曲家一樣,AI引擎也可以理解音樂是如何喚起觀眾情感共鳴的。Su說:“這是一種可以讓聽眾身臨其境,并且優(yōu)雅、復(fù)雜、還沒有損害的方法。第一集還沒有播完,但是我已經(jīng)非常非常激動(dòng)?!?/p>
LifeScore的另一個(gè)重要娛樂用途是視頻游戲。Sheppard不僅為該類型的音樂制作了許多配樂,而且他認(rèn)為,LifeScore可以將幾個(gè)小時(shí)的錄音時(shí)間延伸到幾乎無限長(zhǎng)度的音樂情緒和曲調(diào)中,這在虛擬游戲中將比目前無休止地循環(huán)播放更有優(yōu)勢(shì)。
為企業(yè)客戶創(chuàng)造聽覺空間是一個(gè)巨大的市場(chǎng)。Gruber說:“公司現(xiàn)在將音樂視為我們整體產(chǎn)品銷售的一部分。因此,我們正在關(guān)注這方面?!?/p>
這個(gè)行業(yè)的鼻祖是繆扎克(Muzak,又叫罐頭音樂),它已經(jīng)成為了一個(gè)用來形容安眠藥的貶義詞。猶如糖漿封面一般含糊的流行音樂曲調(diào)——聽眾需要的鎮(zhèn)靜劑比催化劑更多。
也許這就是繆扎克公司于2017年更名為Mood Media的原因。這家公司是一個(gè)授權(quán)巨頭,它的成功是通過一些指標(biāo)來衡量的,比如某個(gè)商店銷量增加,是否與這個(gè)商店使用了它上千個(gè)復(fù)雜編程而成的自定義錄制播放列表有關(guān)。
看起來LifeScore正在與Mood Music直接競(jìng)爭(zhēng)。但是Sheppard和Gruber認(rèn)為這些產(chǎn)品處于不同的領(lǐng)域。
Muzak提供的音樂體驗(yàn)是潛意識(shí)的;LifeScore則希望將周圍的音樂世界變成一個(gè)充滿激情的創(chuàng)作機(jī)器。Sheppard熱情地講述了他向“一個(gè)嚴(yán)肅的商務(wù)人士”進(jìn)行演示的情景,那位商務(wù)人士將手機(jī)移動(dòng)到特定的音樂序列時(shí),突然哭了出來。
Sheppard說:“這種體驗(yàn)非常舒暢愜意,但是我覺得,他也很尷尬?!保榱吮阌谟涗?,在整個(gè)演示過程中,我努力讓自己的眼睛始終保持干涸狀態(tài))
該公司認(rèn)為駕駛是一個(gè)理想的LifeScore場(chǎng)景,他們表示正在與汽車制造商進(jìn)行談判。如果可以的話,用戶的輸入內(nèi)容可能包括速度,路況,天氣以及到目的地的距離。
他們希望打入的另一個(gè)大市場(chǎng)是健康,因?yàn)樾穆珊推渌镒R(shí)別技術(shù)有助于參與創(chuàng)作。Lifescore已經(jīng)錄制了數(shù)小時(shí)的樂高積木音樂家工具包,其中包含了適合瑜伽、有氧運(yùn)動(dòng)、冥想的音樂。
LifeScore表示,他們想了解人們對(duì)音樂信號(hào)的反應(yīng),因此正在研究巨大的生物識(shí)別和行為數(shù)據(jù)集。隨后,LifeScore將會(huì)學(xué)習(xí)如何調(diào)整音樂創(chuàng)作,從而“優(yōu)化身心健康,比如放松身體、衡量體力水平,以及冥想專注?!?/p>
另一種情況是,如果我們回到辦公室,我們可以將LifeScore當(dāng)做辦公室的環(huán)境音樂。Gruber說,當(dāng)音樂收到人體姿勢(shì)下垂的信號(hào)時(shí),它可能會(huì)激發(fā)我們的精力。
他說,與更直截了當(dāng)?shù)奶岣呱a(chǎn)率的方法不同,LifeScore的暗示將是受歡迎的?!叭绻阏诼犚魳?,那你可以用更人性化的東西,而不是過于直接的反饋?!?/p>
不過我懷疑,現(xiàn)在正在辦公室里用耳機(jī)聽歌的數(shù)百萬人,可能都不會(huì)覺得這很友好。因?yàn)樗麄円膊灰欢ň蜌g迎攝像機(jī)或其他會(huì)注意他們工作姿勢(shì)的傳感器。
Sheppard說,當(dāng)他剛開始在艾比路錄音棚工作時(shí),他總是使用二號(hào)錄音室,因?yàn)樵谀抢?,甲殼蟲樂隊(duì)的幽靈可能仍在流連。喬治·馬?。℅eorge Martin)留給工作室的麥克風(fēng)也仍然在這里,Sheppard可以隨時(shí)使用。
他還去過洞穴一般的一號(hào)錄音室,在那里曾經(jīng)一度聚集了90位音樂家,只為一款電子游戲錄制背景音樂?!暗珜?shí)際上,我最愛的是三號(hào)錄音室?!彼f。那是平克·弗洛伊德(Pink Floyd)錄制的地方,后來音樂家們又在那里為創(chuàng)作了配樂。
與工作室這幾十年來創(chuàng)作的作品不同,這些音樂永遠(yuǎn)不會(huì)登上樂曲排行榜。在它們從客廳、汽車、瑜伽館還有森林里聽眾的揚(yáng)聲器和耳機(jī)播放出來之前,它們甚至都不會(huì)被完成。
LifeScore的AI增強(qiáng)音樂會(huì)以他們自己的方式來成為熱門嗎?也許只有當(dāng)他們真正能提供那些創(chuàng)作刺激時(shí)。更不用說,如果他們能以友好的方式提高辦公效率了。