NovelEffect用語(yǔ)音識(shí)別技術(shù)講故事 讓睡前故事隨著情節(jié)變化精彩紛呈

NovelEffect是一款親子閱讀App，它運(yùn)用了語(yǔ)音識(shí)別技術(shù)，在爸媽給孩子們講故事時(shí)，將朗讀出來(lái)的文字與影視主題音樂(lè)、音效、動(dòng)畫(huà)等同步，讓睡前故事隨著情節(jié)變化精彩紛呈，如同魔幻電影一般。

有一天，我正在為女兒朗讀英文繪本《好餓的毛毛蟲(chóng)》（TheVeryHungryCaterpillar）。當(dāng)讀到毛毛蟲(chóng)吃掉一個(gè)蘋(píng)果的時(shí)候，我停了下來(lái)，因?yàn)槲衣?tīng)到咖啡桌那邊傳來(lái)了明顯的咀嚼聲。這種聲音實(shí)際上是由這款應(yīng)用程序發(fā)出的，它根據(jù)使用者正在朗讀的故事文本，通過(guò)語(yǔ)音識(shí)別技術(shù)，根據(jù)朗讀者正在朗讀的內(nèi)容播放各種聲音效果和音樂(lè)作為背景音樂(lè)，讓家里及課堂的朗讀體驗(yàn)對(duì)于孩子來(lái)說(shuō)變得更有吸引力。

打開(kāi)NovelEffect應(yīng)用程序，并在系統(tǒng)設(shè)置內(nèi)打開(kāi)麥克風(fēng)，你會(huì)看到書(shū)架上放滿(mǎn)了有趣的故事書(shū)。使用NovelEffect，你需要在應(yīng)用中打開(kāi)特定能匹配現(xiàn)實(shí)生活的書(shū)，這能使得應(yīng)用程序開(kāi)始“傾聽(tīng)”這本書(shū)的文本，并且分析朗讀者的言語(yǔ)來(lái)找出故事當(dāng)時(shí)所處的文本，最后同步播放各種匹配的背景音樂(lè)，從肚子疼的呻吟到馬兒的嘶鳴聲。它不需要使用者從故事的開(kāi)頭一直讀到結(jié)尾，甚至可以在第10頁(yè)或者前后幾頁(yè)開(kāi)始朗讀。同時(shí)，不管使用者在同一頁(yè)上停留多久，抑或是在朗讀的過(guò)程中被打斷去談?wù)摃?shū)本以外的事物，都不會(huì)對(duì)應(yīng)用產(chǎn)生影響。

孩子們都是好奇的小天使，會(huì)在讀故事的過(guò)程中頻頻打斷，問(wèn)出各種奇妙的問(wèn)題。而此時(shí)NovelEffect正在播放，手機(jī)還屏幕朝下放在桌上，這就尷尬了，家長(zhǎng)是應(yīng)該不顧孩子的疑問(wèn)繼續(xù)跟著配樂(lè)讀故事，還是停下來(lái)回答問(wèn)題，然后手忙腳亂地把故事配樂(lè)倒過(guò)來(lái)重播一遍？

孩子提出問(wèn)題，這是應(yīng)該被鼓勵(lì)的。有故事情節(jié)，有提問(wèn)，有思考，有回答，一本好的兒童故事書(shū)才能體現(xiàn)它在親子教育中的作用。盡管停下來(lái)去滿(mǎn)足孩子們的好奇心吧，NovelEffect也會(huì)緊跟著爸媽朗讀的內(nèi)容，停下來(lái)耐心等待。在一定時(shí)間內(nèi)，應(yīng)用程序識(shí)別不到書(shū)中的文字，便會(huì)停下，而一旦說(shuō)完與故事無(wú)關(guān)的語(yǔ)句，只要再次大聲朗讀接下來(lái)的文字內(nèi)容，NovelEffect即可精準(zhǔn)識(shí)別段落情節(jié)，將故事繼續(xù)下去。針對(duì)這一點(diǎn)，該應(yīng)用在配樂(lè)、特效設(shè)置以及語(yǔ)音識(shí)別的技術(shù)調(diào)整上獨(dú)具匠心，朗讀者只需幾個(gè)關(guān)鍵詞，配樂(lè)便可以識(shí)別相關(guān)情節(jié)并播放。有了這樣的設(shè)計(jì)，想從上次沒(méi)讀完的地方繼續(xù)，或者是重新讀一遍有趣的情節(jié)，都不需要用戶(hù)在App內(nèi)做任何的設(shè)置，系統(tǒng)會(huì)自動(dòng)實(shí)現(xiàn)跳轉(zhuǎn)。

對(duì)于“哄睡困難戶(hù)”的孩子們，NovelEffect推出了“哄睡故事”系列，在經(jīng)過(guò)設(shè)置后，故事配樂(lè)會(huì)逐漸變成適合睡覺(jué)的白噪音，輕柔地陪伴寶寶進(jìn)入夢(mèng)鄉(xiāng)。