機(jī)器翻譯的發(fā)展歷程

在2018年的博鰲亞洲論壇中，除了主要議程外，最引人注目的熱點(diǎn)是首次引進(jìn)了人工智能進(jìn)行會議中的即時口語翻譯。然而，人工智能并沒有出現(xiàn)原先大肆宣稱的“讓即時口譯業(yè)界面對即將失業(yè)的威脅”，相反的，嚴(yán)重失誤的翻譯結(jié)果，反倒讓即時口譯從業(yè)人員松了口氣，看來這行飯還可以吃很久。

《圣經(jīng)． 舊約． 創(chuàng)世紀(jì)》第11章記載，在大洪水退去后，這世界上的人類都是諾亞的子孫，說同樣的語言。那時人類開始合作，建造名為巴別塔的通天之塔。這個舉動驚動了神，因此神讓全世界的人類開始有了不同的語言，從此人類再也無法齊心合作。造通天塔的計劃以失敗告終，語言差異也成為了人類溝通時最大的障礙。也許是血液中仍有想要重建巴別塔的夢想，因此翻譯就成為人類在過去千百年歷史不斷演進(jìn)的重點(diǎn)文化工程。

語言的隔閡并不是那么容易打破的，尤其是要跨語言來理解同樣的概念。人類歷史上第一次出現(xiàn)跨語言的平行語料，是制作于公元前196年的羅賽塔石碑(Rosetta Stone)，上面同時使用了古埃及文、古希臘文以及當(dāng)?shù)赝ㄋ孜淖?，來記載古埃及國王托勒密五世登基的詔書。這也是翻譯的重大里程碑。

至于機(jī)器翻譯的源頭，可以追溯至1949年，資訊理論研究者Warren Weave正式提出了機(jī)器翻譯的概念。五年后，也就是1954年，IBM與美國喬治敦大學(xué)合作公布了世界上第一臺翻譯機(jī)IBM-701。它能夠?qū)⒍碚Z翻譯為英文，別看它有巨大的身軀，事實(shí)上它里面只內(nèi)建了6條文法規(guī)則，以及250個單字。但即使如此，這仍是技術(shù)的重大突破，那時人類開始覺得應(yīng)該很快就能將語言的高墻打破。

可能是神察覺有異，又對人類重建巴別塔的計劃潑了一桶冷水。1964年，美國科學(xué)院成立了語言自動處理諮詢委員會(AutomaTIc Language Processing Advisory Committee, ALPAC)。兩年后，在委員會提出的報告中認(rèn)為機(jī)器翻譯不值得繼續(xù)投入，因?yàn)檫@份報告，造成接下來的十來年中，美國的機(jī)器翻譯研究幾乎完全停滯空白。

從IBM的第一臺翻譯機(jī)誕生到20世紀(jì)80年代，那時的技術(shù)主流都是基于規(guī)則的機(jī)器翻譯。最常見的作法就是直接根據(jù)詞典逐字翻譯，雖然后來也有人倡議加入句法規(guī)則來修正。但是老實(shí)說，翻出來的結(jié)果都很令人沮喪，因?yàn)榭雌饋泶赖綐O點(diǎn)。因此，到了80年代這樣的作法就銷聲匿跡了。

為何語言沒辦法套用規(guī)則？因?yàn)檎Z言是極其復(fù)雜且模糊的系統(tǒng)，從字的歧義到各種修辭，根本不可能窮舉出所有規(guī)則。但有趣的是，不少近期投身于自然語言的新創(chuàng)公司，仍然企圖用窮舉規(guī)則來解決中文語義，但這種想法鐵定會是以失敗告終的。

我在這舉個例子來說明為何規(guī)則是不可行的。先別提翻譯在兩個語言轉(zhuǎn)換的復(fù)雜性，光是從中文來說，“快遞送貨很快”這樣的概念你能想到多少種講法？10種？還是100種？在我們之前做過的自然語言統(tǒng)計數(shù)據(jù)來看，一共可能會有3600種講法，而且這個數(shù)字應(yīng)該還會隨時間增加。光一個概念如此簡單的句子就能有那么復(fù)雜的規(guī)則體系，若用到翻譯恐怕規(guī)則量會是個驚人的天文數(shù)字，因此基于規(guī)則的機(jī)器翻譯思路就成為了昨日黃花。

在全世界都陷入機(jī)器翻譯低潮期，卻有一個國家對于機(jī)器翻譯有著強(qiáng)大的執(zhí)念，那就是日本。日本人的英文能力差舉世皆知，也因此對機(jī)器翻譯有強(qiáng)烈的剛性需求。

日本京都大學(xué)的長尾真教授提出了基于實(shí)例的機(jī)器翻譯，也就是別再去想讓機(jī)器從無到有來翻譯，我們只要存上足夠多的例句，即使遇到不完全匹配的句子，我們也可以比對例句，只要替換不一樣的詞的翻譯就可以。這種天真的想法當(dāng)然沒有比基于規(guī)則的機(jī)器翻譯高明多少，所以并未引起風(fēng)潮。但是沒多久，人類重建巴別塔的希望似乎又重見曙光。

引爆統(tǒng)計機(jī)器翻譯熱潮的還是IBM，在1993年發(fā)布的《機(jī)器翻譯的數(shù)學(xué)理論》論文中提出了由五種以詞為單位的統(tǒng)計模型，稱為“IBM模型1”到“IBM模型5 ”。

統(tǒng)計模型的思路是把翻譯當(dāng)成機(jī)率問題。原則上是需要利用平行語料，然后逐字進(jìn)行統(tǒng)計。例如，機(jī)器雖然不知道“知識”的英文是什么，但是在大多數(shù)的語料統(tǒng)計后，會發(fā)現(xiàn)只要有知識出現(xiàn)的句子，對應(yīng)的英文例句就會出現(xiàn)“Knowledge”這個字。如此一來，即使不用人工維護(hù)詞典與文法規(guī)則，也能讓機(jī)器理解單詞的意思。

這個概念并不新，因?yàn)樽钤鏦arren Weave就提出過類似的概念，只不過那時并沒有足夠的平行語料以及限于當(dāng)時計算機(jī)的能力太弱，因此沒有付諸實(shí)行?，F(xiàn)代的統(tǒng)計機(jī)器翻譯要從哪里去找來“現(xiàn)代的羅賽塔石碑”呢？最主要的來源其實(shí)是聯(lián)合國，因?yàn)槁?lián)合國的決議以及公告都會有各個會員國的語言版本，但除此之外，要自己制作平行語料，以現(xiàn)在人工翻譯的成本換算一下就會知道這成本高到驚人。

在過去十來年，大家所熟悉的Google翻譯都是基于統(tǒng)計機(jī)器翻譯。聽到這，應(yīng)該大家就清楚統(tǒng)計翻譯模型是無法成就通天塔大業(yè)的。在各位的印像中，機(jī)器翻譯還只停留在“堪用”而非是“有用”的程度。

到了2014年，機(jī)器翻譯迎來了史上最革命的改變——“深度學(xué)習(xí)”來了！

神經(jīng)網(wǎng)絡(luò)并不是新東西，事實(shí)上神經(jīng)網(wǎng)絡(luò)發(fā)明已經(jīng)距今80多年了，但是自從2006年Geoffrey Hinton(深度學(xué)習(xí)三尊大神之首)改善了神經(jīng)網(wǎng)絡(luò)優(yōu)化過于緩慢的致命缺點(diǎn)后，深度學(xué)習(xí)就不斷地伴隨各種奇跡似的成果頻繁出現(xiàn)在我們的生活中。在2015年，機(jī)器首次實(shí)現(xiàn)圖像識別超越人類；2016年，Alpha Go戰(zhàn)勝世界棋王；2017年，語音識別超過人類速記員；2018年，機(jī)器英文閱讀理解首次超越人類。當(dāng)然機(jī)器翻譯這個領(lǐng)域也因?yàn)橛辛松疃葘W(xué)習(xí)這個超級肥料而開始枝繁葉茂。

深度學(xué)習(xí)三大神中的Yoshua Bengio在2014年的論文中，首次奠定了深度學(xué)習(xí)技術(shù)用于機(jī)器翻譯的基本架構(gòu)。他主要是使用基于序列的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)，讓機(jī)器可以自動捕捉句子間的單詞特征，進(jìn)而能夠自動書寫為另一種語言的翻譯結(jié)果。此文一出，Google如獲至寶。很快地，在Google供應(yīng)充足火藥以及大神的加持之下，Google于2016年正式宣布將所有統(tǒng)計機(jī)器翻譯下架，神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯上位，成為現(xiàn)代機(jī)器翻譯的絕對主流。

Google的神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯最大的特色是加入了注意力機(jī)制(AttenTIon)，注意力機(jī)制其實(shí)就是在模擬人類翻譯時，會先用眼睛掃過一遍，然后會挑出幾個重點(diǎn)字來確認(rèn)語義的過程(圖2)。果然有了注意力機(jī)制加持后威力大增。Google宣稱，在“英—法”，“英—中”，“英—西”等多個語對中，錯誤率跟之前的統(tǒng)計機(jī)器翻譯系統(tǒng)相比降低了60%。

神經(jīng)網(wǎng)絡(luò)雖然可以根據(jù)現(xiàn)有的平行語料學(xué)習(xí)，理解句中細(xì)微的語言特征，但是它并非完美無缺，最大的問題來自于需要大量的語料以及它如黑盒子般的難以理解。也就是說，就算出了錯也無從改起，只能夠供應(yīng)更多的正確語料來讓“深度學(xué)習(xí)”改正。也因此同樣一個句型，卻可以有截然不同的翻譯結(jié)果。

2018年2月，微軟(Microsoft)讓機(jī)器語言理解超越人類后馬上又有新舉措。3月14日，微軟亞洲研究院與雷德蒙研究院的研究人員宣布，其研發(fā)的機(jī)器翻譯系統(tǒng)在通用新聞報導(dǎo)測試集Newstest2017的中英翻譯測試集上，達(dá)到了可與人工翻譯媲美的水平。這自然是神經(jīng)網(wǎng)絡(luò)機(jī)器翻譯的一大勝利，當(dāng)然在架構(gòu)上也有了不少創(chuàng)新，其中最值得注意的是加入了對偶學(xué)習(xí)(Dual Learning)以及推敲網(wǎng)絡(luò)(DeliberaTIon Networks)。

對偶學(xué)習(xí)要解決平行語料有限的問題，一般來說深度學(xué)習(xí)必須同時要提供給機(jī)器答案，這樣機(jī)器才能夠根據(jù)它的翻譯結(jié)果與答案間的差異持續(xù)修正改進(jìn)。至于推敲網(wǎng)絡(luò)也是模仿人類翻譯的過程，通常人工翻譯會先做一次粗略的翻譯，然后再將內(nèi)容調(diào)整為精確的二次翻譯結(jié)果，其實(shí)各位可以發(fā)現(xiàn)不管再聰明的神經(jīng)網(wǎng)絡(luò)，最終仍要參考地表上最聰明的生物，也就是身為人類的我們。

機(jī)器翻譯的發(fā)展并不意味著未來翻譯界人士將會沒有飯吃了?？梢宰⒁獾降氖?，微軟發(fā)表會曾強(qiáng)調(diào)“通用新聞報導(dǎo)測試集Newstest2017”的“中英翻譯測試集”上，數(shù)據(jù)集表現(xiàn)好未必能與通用性劃上等號，這也就可以說明為何騰訊翻譯君明明平常口碑不錯，但是為何在博鰲即時口譯卻表現(xiàn)失準(zhǔn)。

即時口譯可說是翻譯任務(wù)的頂點(diǎn)，除了要有正確聽力理解原句，還要在有限時間內(nèi)轉(zhuǎn)換為其他語言。而且別忘了講者不會給翻譯任何等待的時間，所以等于語音識別與機(jī)器翻譯必須同步處理，再加上現(xiàn)場雜音、講者的表達(dá)方式、語氣詞感嘆詞等等干擾因素，都有可能會造成機(jī)器的誤判。

就我看來，騰訊翻譯君，可被指責(zé)的點(diǎn)可能只是不夠用功，沒有把關(guān)鍵的專有名詞錄入，這才會發(fā)生“一條公路和一條腰帶”這種“經(jīng)典錯誤”。

從圖3也可以看到一個有趣的差異，為何西方機(jī)器翻譯錯得離譜，但是本國的機(jī)器翻譯卻幾乎都能掌握原意？這是因?yàn)檎Z言不能脫離人類的使用場景而存在。即我們語文學(xué)習(xí)中常強(qiáng)調(diào)的上下文(Context)，這來自于我們過去的文化、過去共有的記憶所構(gòu)成的。沒讀過唐詩的Google自然無法理解這句詩的精髓。語言會是人工智能時代人類最后的壁壘，因?yàn)檎Z言會因人類的使用不斷地發(fā)生變化，這是機(jī)器很難完美替代的。

隨著技術(shù)進(jìn)步，終有一天，機(jī)器翻譯會從“堪用”變成“有用”，再進(jìn)化至“好用”。但如同我一直以來的論點(diǎn)，機(jī)器不會搶了人類的工作，能讓人類失業(yè)的其實(shí)只有我們自己。如何善用人工智能成為自己的工具，把自己從無聊繁瑣的工作中抽身，這才是面對未來的正確姿勢。