亞馬遜訓(xùn)練AI重寫查詢以更好地理解口語(yǔ)

（文章來(lái)源：教育新聞網(wǎng)）

聽說(shuō)過(guò)查詢重寫嗎?這是一種用于減輕口語(yǔ)理解(SLU)管道中的錯(cuò)誤的技術(shù)，例如支持Amazon的Alexa，Google Assistant，Apple的Siri和其他語(yǔ)音助手的管道。許多SLU系統(tǒng)分為兩個(gè)部分：負(fù)責(zé)將音頻轉(zhuǎn)換為文本的自動(dòng)語(yǔ)音識(shí)別(ASR)系統(tǒng)，以及從結(jié)果摘要中提取含義的自然語(yǔ)言理解組件(NLU)，而且每個(gè)問(wèn)題都會(huì)帶來(lái)錯(cuò)誤(例如，由于背景噪音和說(shuō)話者口音造成的文字識(shí)別錯(cuò)誤)會(huì)累積并引起會(huì)話摩擦。

幸運(yùn)的是，查詢重寫已在生產(chǎn)系統(tǒng)中顯示出令人鼓舞的結(jié)果;它需要記錄本并重寫，然后再將其發(fā)送到下游NLU系統(tǒng)。這可能就是為什么Drexel大學(xué)和Amazon的研究人員在預(yù)印本紙上研究了一種方法，該方法使用AI用重新構(gòu)造的查詢代替原始查詢。

團(tuán)隊(duì)的系統(tǒng)使用經(jīng)過(guò)訓(xùn)練的模型來(lái)從查詢中捕獲潛在的句法和語(yǔ)義信息，從而選擇最相關(guān)的候選項(xiàng)作為查詢的重寫。給定輸入查詢，嵌入器模塊通過(guò)將查詢輸入預(yù)先訓(xùn)練的上下文詞模型中來(lái)提取表示形式。然后將該表示形式合并為查詢級(jí)別的數(shù)學(xué)表示形式(嵌入)，此時(shí)將使用一種機(jī)制來(lái)測(cè)量兩個(gè)查詢的相似性。數(shù)百萬(wàn)索引的原始查詢和重寫來(lái)自從Alexa的歷史數(shù)據(jù)中選擇的一組預(yù)定義的高精度重寫對(duì)，而最相關(guān)的是由系統(tǒng)按需檢索。

研究人員指出：“ SLU系統(tǒng)中的NLU組件為查詢提供了半結(jié)構(gòu)化的語(yǔ)義表示，其中可以通過(guò)相同的NLU假設(shè)將各種文本形式但具有相同語(yǔ)義的查詢組合在一起?！薄袄?，'請(qǐng)您播放想象中的巨龍'，'打開想象中的巨龍'[和]'播放想象中的巨龍的歌曲'具有相同的語(yǔ)義和相同的NLU假設(shè)，但是它們的文字不同。直觀地講，使用噪聲較小的NLU假設(shè)來(lái)擴(kuò)充查詢文本可能會(huì)有所幫助。”

為了訓(xùn)練該系統(tǒng)，該團(tuán)隊(duì)構(gòu)建了兩個(gè)數(shù)據(jù)集：一個(gè)用于預(yù)訓(xùn)練話語(yǔ)嵌入，另一個(gè)用于微調(diào)預(yù)訓(xùn)練的模型。預(yù)訓(xùn)練集包括1100萬(wàn)個(gè)會(huì)話，涉及約3000萬(wàn)話語(yǔ)，而微調(diào)集(使用現(xiàn)有的重新短語(yǔ)檢測(cè)模型管道生成)具有220萬(wàn)對(duì)話語(yǔ)。

研究人員通過(guò)在16,000對(duì)帶注釋的測(cè)試集中，將檢索到的重寫候選的NLU假設(shè)與實(shí)際的NLU假設(shè)進(jìn)行比較，從而評(píng)估了查詢重寫性能。對(duì)于每個(gè)給定的查詢，他們檢索了前20個(gè)重寫，并且使用重寫的NLU假設(shè)通過(guò)標(biāo)準(zhǔn)信息檢索指標(biāo)來(lái)測(cè)量系統(tǒng)性能。

該團(tuán)隊(duì)報(bào)告說(shuō)，預(yù)訓(xùn)練不僅顯著減少了對(duì)高質(zhì)量查詢檢索訓(xùn)練對(duì)的需求，而且“顯著”提高了性能。他們寫道：“盡管我們?cè)诒疚闹袑Ｗ⒂赒R任務(wù)的預(yù)訓(xùn)練，但我們認(rèn)為類似的策略可能會(huì)應(yīng)用于NLU中的其他任務(wù)，” [例如]域分類。
? ? ?