微軟為什么要公開AI系統(tǒng)測(cè)試數(shù)據(jù)集和度量指標(biāo)？

共享經(jīng)濟(jì)正處于如火如荼的發(fā)展?fàn)顟B(tài)，但你有沒有想到，人工智能有一天也會(huì)步入共享經(jīng)濟(jì)時(shí)代?今年秋天，微軟的研究人員對(duì)外公開了新一組可用來測(cè)試AI系統(tǒng)的數(shù)據(jù)集，以助力全世界的AI研究。協(xié)作精神對(duì)人工智能領(lǐng)域的長(zhǎng)足發(fā)展至關(guān)重要，許多正在開發(fā)數(shù)據(jù)集的團(tuán)隊(duì)表示，從某種意義上說，他們是在“預(yù)先付費(fèi)”，因?yàn)樗麄儗硪矔?huì)用到其他人所創(chuàng)建的數(shù)據(jù)集。

微軟研究院Maluuba團(tuán)隊(duì)的研究員SamiraEbrahimi Kahou等人在研究如何利用人工智能理解柱線圖和餅圖中所包含的信息這一問題時(shí)遇到了一個(gè)難題：沒有現(xiàn)成的數(shù)據(jù)集可以用來測(cè)試他們的假設(shè)。為了解決這一問題，他們自己創(chuàng)建了FigureQA數(shù)據(jù)集，并在今年秋天對(duì)外公布。

數(shù)據(jù)集FigureQA的AI專家團(tuán)隊(duì)成員：(從左至右，微軟研究院Maluuba團(tuán)隊(duì)研究員AdamAtkinson、蒙特利爾大學(xué)教授Yoshua Bengio、微軟研究院Maluuba團(tuán)隊(duì)研究員Samira Ebrahimi Kahou)

這個(gè)數(shù)據(jù)集只是近年來微軟研究人員和工程師用來測(cè)試AI系統(tǒng)的眾多數(shù)據(jù)集、度量指標(biāo)和工具之一。目前，這些工具向全世界的研究人員開放，可以被用于測(cè)試各自的AI系統(tǒng)在例如實(shí)時(shí)語音翻譯、輸入詞匯預(yù)測(cè)等任務(wù)中的表現(xiàn)。微軟開發(fā)這些工具的團(tuán)隊(duì)認(rèn)為，這些開放工具可以幫助學(xué)術(shù)研究人員和行業(yè)專家測(cè)試各自系統(tǒng)、比較研究成果以及相互學(xué)習(xí)。

微軟必應(yīng)搜索部門合作伙伴項(xiàng)目經(jīng)理Rangan Majumder說：“這些公開數(shù)據(jù)集使我們的目標(biāo)變得更加清晰。這樣其他研究人員就很容易看清楚我們的技術(shù)發(fā)展方向。”Majumder帶領(lǐng)的團(tuán)隊(duì)負(fù)責(zé)MS MARCO機(jī)器讀閱讀理解數(shù)據(jù)集的開發(fā)工作，他們即將在年底再次更新這個(gè)誕生剛剛一年的數(shù)據(jù)集。

微軟必應(yīng)搜索部門合作伙伴項(xiàng)目經(jīng)理RanganMajumder

對(duì)于習(xí)慣傳統(tǒng)科技行業(yè)行事風(fēng)格的人來說，這種信息共享似乎無法理解。但是，在人工智能領(lǐng)域，這種開放性正在變得越來越普遍。位于蒙特利爾的微軟研究院Maluuba團(tuán)隊(duì)項(xiàng)目經(jīng)理RahulMehrotra 表示：“傳統(tǒng)上，企業(yè)的研究工作是秘不示人的。但是現(xiàn)在，共享的風(fēng)潮正席卷整個(gè)行業(yè)——幾乎所有企業(yè)都在發(fā)表論文，試圖引領(lǐng)科技前沿的發(fā)展。”去年，微軟研究院Maluuba團(tuán)隊(duì)還發(fā)布了另外兩個(gè)數(shù)據(jù)集：NewsQA和Frames。

不少人工智能專家認(rèn)為，協(xié)作精神對(duì)人工智能領(lǐng)域的長(zhǎng)足發(fā)展至關(guān)重要，許多人工智能領(lǐng)域的早期突破都源于此。甚至身處有競(jìng)爭(zhēng)關(guān)系的不同機(jī)構(gòu)內(nèi)的研究人員都可以共享彼此的研究成果。

微軟翻譯團(tuán)隊(duì)高級(jí)項(xiàng)目經(jīng)理Christian Federmann表示：“我們不可能想到世界上所有的好點(diǎn)子，所以如果別人有個(gè)好點(diǎn)子并想嘗試一下，我們可以給他們提供一個(gè)數(shù)據(jù)集來試一試。”

Federmann的團(tuán)隊(duì)開發(fā)了微軟語音翻譯語料庫(MicrosoftSpeech Language Translation Corpus)，并在最近在語料庫中加入了更多語言。目前，所有人都可以利用這個(gè)語料庫測(cè)試他們自己的類似于MicrosoftTranslator的實(shí)時(shí)翻譯以及Skype Translator的語音翻譯系統(tǒng)。Federmann表示，微軟公司是少數(shù)幾個(gè)擁有雄厚預(yù)算和資源的大公司之一，可以創(chuàng)建高質(zhì)量的工具和數(shù)據(jù)集，讓業(yè)界同行得以比較各自的研究成果。

研究人員需要?jiǎng)?chuàng)造一些標(biāo)桿(benchmark)來展示自己的研究成果，而這些公開的數(shù)據(jù)集恰恰是上述標(biāo)桿的關(guān)鍵。例如，語音識(shí)別研究領(lǐng)域新近的幾項(xiàng)里程碑式的成就正是基于Switchboard語料庫的訓(xùn)練結(jié)果。

預(yù)付費(fèi)模式

許多正在開發(fā)數(shù)據(jù)集和度量指標(biāo)的團(tuán)隊(duì)表示，從某種意義上說，他們是在“預(yù)先付費(fèi)”，因?yàn)樗麄儗硪矔?huì)用到其他人所創(chuàng)建的數(shù)據(jù)集。

Mehrotra說，當(dāng)Maluuba還是一個(gè)小型創(chuàng)業(yè)公司時(shí)，他們的研究非常依賴名為MCTest的微軟數(shù)據(jù)集?，F(xiàn)在，Maluuba已成為微軟的一部分，他們很高興看到自己所創(chuàng)建的數(shù)據(jù)集正在被業(yè)內(nèi)其他人所使用。

喬治亞理工學(xué)院助理教授、Facebook人工智能研究院的研究員Devi Parikh表示，Maluuba最近發(fā)布的FigureQA數(shù)據(jù)集很有幫助，在這個(gè)數(shù)據(jù)集的幫助下，像她這樣的研究人員就可以研究需要多種人工智能技術(shù)才能解決的問題。例如，計(jì)算機(jī)要能準(zhǔn)確閱讀圖形并回答有關(guān)問題，就需要同時(shí)運(yùn)用計(jì)算機(jī)視覺和自然語言處理。她說：“從研究的角度來看，研究人工智能各分領(lǐng)域之間的交叉問題變得越來越有趣。”

盡管大家都看到了信息共享的價(jià)值，但AI領(lǐng)域的研究人員和工程師有時(shí)候也希望既能夠比較他們的系統(tǒng)，也不必公開所有所用數(shù)據(jù)。

在微軟去年收購的SwiftKey公司，高級(jí)軟件工程主管DougOrr表示，他所在的團(tuán)隊(duì)希望創(chuàng)建一種標(biāo)準(zhǔn)方法，用于衡量某個(gè)輸入法在詞匯預(yù)測(cè)(預(yù)測(cè)用戶即將輸入的詞匯)方面的表現(xiàn)。詞匯預(yù)測(cè)是SwiftKey輸入法的一個(gè)關(guān)鍵組件，它能夠根據(jù)個(gè)人的表達(dá)風(fēng)格提供個(gè)性化的詞匯預(yù)測(cè)。SwiftKey團(tuán)隊(duì)并沒有共享某個(gè)具體的數(shù)據(jù)集，而是創(chuàng)建了一套可供研究人員應(yīng)用于任何數(shù)據(jù)集的衡量標(biāo)準(zhǔn)——Language Model Challenge 。用戶可通過GitHub下載到這套標(biāo)準(zhǔn)，它讓研究人員有了一個(gè)標(biāo)準(zhǔn)化的尺度，用于衡量自身的改進(jìn)并將結(jié)果與其他同行進(jìn)行比較，而又無須共享專有數(shù)據(jù)。

Orr表示，這些衡量標(biāo)準(zhǔn)讓公司的內(nèi)部團(tuán)隊(duì)受益匪淺，因?yàn)樗麄兡芨私庾约旱妮斎敕?，能夠看到輸入法改進(jìn)的幅度，同時(shí)，該領(lǐng)域的每一個(gè)參與者也能更清晰地了解彼此的表現(xiàn)。