好未來 AI Lab 負(fù)責(zé)人劉子韜：AI + 教育中的四大挑戰(zhàn) | CCF-GAIR 2019

記者按：7 月 12 日至 7 月 14 日，2019 第四屆全球人工智能與機(jī)器人峰會（CCF-GAIR 2019）于深圳正式召開。峰會由中國計算機(jī)學(xué)會（CCF）主辦，記者、香港中文大學(xué)（深圳）承辦，深圳市人工智能與機(jī)器人研究院協(xié)辦，得到了深圳市政府的大力指導(dǎo)，是國內(nèi)人工智能和機(jī)器人學(xué)術(shù)界、工業(yè)界及投資界三大領(lǐng)域的頂級交流博覽盛會，旨在打造國內(nèi)人工智能領(lǐng)域極具實(shí)力的跨界交流合作平臺。

7 月 14 日，伴隨著議程進(jìn)入到第三天，本次大會也迎來了為期一天的智慧教育專場。在這個專場中，好未來 AI 實(shí)驗(yàn)室負(fù)責(zé)人劉子韜博士登臺，做了題為《Building The Next Generation of Smart Classroom》的主題演講。

在演講中，劉子韜從好未來在智慧課堂上的探索和研究實(shí)踐出發(fā)，談到了 AI+ 教育的發(fā)展過程中數(shù)據(jù)獲取的復(fù)雜性，并由此談到了 AI + 教育中的四個挑戰(zhàn)，分別是：

一是數(shù)據(jù)量小。機(jī)器學(xué)習(xí)需要有標(biāo)簽的數(shù)據(jù)，而教育場景中的數(shù)據(jù)大部分都是無標(biāo)簽的，有標(biāo)簽的數(shù)據(jù)非常少；

二是異構(gòu)性。異構(gòu)性和多模態(tài)是強(qiáng)綁定的，不同來源產(chǎn)生的數(shù)據(jù)，有天然的異構(gòu)性；

三是數(shù)據(jù)的質(zhì)量問題。通常我們的標(biāo)簽獲取是非常困難的，上了一堂課想預(yù)測這堂課好不好，好不好需要打一個標(biāo)簽，這個時候打的標(biāo)簽主觀性非常強(qiáng)，十個人給老師打分，可能有六個好，有四個不好，這堂課是好還是不好，6：4 就說好，這是有歧義的；

四是評價。短期無法量化，對 AI 有一些困難和影響。

由此，劉子韜談到了好未來在面對挑戰(zhàn)的過程中提出的 AI 相關(guān)解決方案，并給出了相應(yīng)的案例；比如說數(shù)據(jù)眾包打標(biāo)簽、作業(yè)輔助批改和在線課堂監(jiān)控等。最后，劉子韜給出了自己的觀點(diǎn)：AI 在參與到教育應(yīng)用的過程中所遇見的很多問題都是不曾被研究過的，這其中有很多的挑戰(zhàn)，當(dāng)然也有很多的機(jī)遇。

在演講結(jié)束后，劉子韜接受了記者的采訪。

針對 AI 如何究竟賦能教育的問題，劉子韜表示，AI 作為一項(xiàng)技術(shù)本身其重大作用在于提升效率，就像 Google 提升了人們搜索并獲取信息的效率，AI 同樣也能在教育領(lǐng)域提升效率，比如說作業(yè)的自動批改、教育領(lǐng)域的運(yùn)營管理（比如說培訓(xùn)機(jī)構(gòu)）等等；不僅如此，AI 還能夠在教育范圍內(nèi)改善產(chǎn)品的體驗(yàn)，是學(xué)生們在學(xué)習(xí)過程中獲得更好的體驗(yàn)，比如說智能教室等。

以下是劉子韜在 CCF-GAIR 大會上的演講內(nèi)容，記者(公眾號：記者)對其進(jìn)行了不改變原意的編輯整理：

大家早上好！今天我代表好未來跟大家分享好未來在智慧課堂上的探索和研究，今天我主要講一下我們的進(jìn)展和整個過程中遇到的困難和挑戰(zhàn)。

好未來是一個以智慧教育和開放平臺為主體, 以素質(zhì)教育和課外輔導(dǎo)為載體, 在全球范圍內(nèi)服務(wù)公辦教育，助力民辦教育，探索未來教育新模式的科技教育公司。

好未來的人工智能實(shí)驗(yàn)室，是好未來在集團(tuán)范圍內(nèi)的 AI ?Lab，它的職責(zé)就是通過 AI 技術(shù)來賦能好未來的各個事業(yè)線，讓好未來的各個事業(yè)部擁有先進(jìn)的 AI 技術(shù)。對于好未來的 AI 來說我們要達(dá)到什么樣的目的？我們有四個愿景：一是希望通過 AI 可以提供更優(yōu)質(zhì)的教學(xué)內(nèi)容；二是希望通過 AI 能提供更有效的教學(xué)體驗(yàn)；三是希望提供更科學(xué)的評測體系；四是更公平的教育資源。

我們提到教育或 AI+ 教育的時候，最重要的是什么？我們想中間最重要的是教學(xué)環(huán)境，也就是 Learning Environments。

當(dāng)我們說教學(xué)場景的時候，我們可以做一個簡單的劃分，比如說選三個維度：

Z 軸可以看到教室有多少學(xué)生。比如說 1 對 1，也可以是在線小班，可以三到九個，傳統(tǒng)的面授課堂有二十到五十個學(xué)生，大班網(wǎng)校可能 90、100、500 個學(xué)生都是有可能存在的，這是課堂里的學(xué)生數(shù)量。

橫軸是年齡，可以是學(xué)前、小學(xué)、中學(xué)、高中、大學(xué)。

縱軸是上課的形式。上課的形式可以分為線下上課，跑到教學(xué)點(diǎn)線下上課、線上通過直播的方式，學(xué)生在學(xué)生家、老師在老師家通過直播的方式上課，這里只是隨意列舉幾個緯度，還有學(xué)科，比如說教的是數(shù)學(xué)課、英語課還是物理課等科目。

不同的維度可以把場景進(jìn)行細(xì)致的劃分，其中每一塊都有它的獨(dú)特性，比如說在教小學(xué)線上一對一和教傳統(tǒng)線下大班高中生，其實(shí)有很大的差別。學(xué)習(xí)場景會不一樣，產(chǎn)生的數(shù)據(jù)不一樣，教學(xué)設(shè)計的理念會不一樣。針對不同的教學(xué)場景 AI 需要針對每一塊進(jìn)行優(yōu)化和定制。

教育和 AI 最寶貴的是什么？就是豐富的數(shù)據(jù)，數(shù)據(jù)是在各個場景中能產(chǎn)生的數(shù)據(jù)。這些數(shù)據(jù)的產(chǎn)生也選兩個維度劃分一下：

上面一行是數(shù)據(jù)什么時候產(chǎn)生。首先是上課之前產(chǎn)生什么樣的數(shù)據(jù)，除了一些學(xué)生的課前側(cè)，還會包括家長、銷售、學(xué)生之間的溝通記錄；其次是課中，課中會產(chǎn)生很寶貴的數(shù)據(jù)；再次是課后，課后會產(chǎn)生學(xué)生的課后練習(xí)題、家長的反饋和給家長的報告。

產(chǎn)生數(shù)據(jù)的主體是老師、學(xué)生，中間還有一個很大的環(huán)節(jié)，我們這里會稱為管理者。什么樣是管理者？管理者是比較泛的概念，在整個的教學(xué)全流程中，包括課前、課中、課后，教學(xué)管理者包括跟家長溝通的學(xué)習(xí)規(guī)劃師，或是有些地方叫顧問，還有一些銷售。包括管理老師的人，大家知道培訓(xùn)機(jī)構(gòu)有很多老師，如何把老師管理好，讓他們的教學(xué)質(zhì)量一致、歸一化，這些都會產(chǎn)生很多的數(shù)據(jù)。

這里是細(xì)粒度的劃分，給大家舉幾個例子，課中的時候，老師可以做什么？老師可以跟學(xué)生發(fā)起語音互動 Voice Interaction，可以跟學(xué)生換臉 Face Filter，直播的時候可以幫學(xué)生換臉、換場景。老師手里有什么？老師手里有很多 Pad、智能筆，學(xué)生手中會有很多的答題器，學(xué)生可以通過答題器和老師互動，課中的環(huán)節(jié)會有很多的數(shù)據(jù)。

管理者有售前的銷售，給家長銷售什么樣的課程，以及和銷售的聊天記錄。課后上完以后，學(xué)習(xí)規(guī)劃師會跟家長溝通、交流，會告訴你這堂課學(xué)生表現(xiàn)怎么樣、孩子怎么樣，這些都會有交流，會以數(shù)據(jù)的形式沉淀下來，數(shù)據(jù)的產(chǎn)生和全流程的把控對 AI 非常重要。

前面講了教育的數(shù)據(jù)，各個環(huán)節(jié)都能產(chǎn)生各種各樣的數(shù)據(jù)，當(dāng)這些數(shù)據(jù)產(chǎn)生以后會是什么樣？用一個比較學(xué)術(shù)上的詞是 Multimodal ，也就是多模態(tài)，主流的多模態(tài)會有三種結(jié)合：一是文本數(shù)據(jù)，很多的數(shù)據(jù)以文本的形式產(chǎn)生出來。二是上課的時候多數(shù)會以視頻的形式記錄下來，會有一些視頻的信息。三是還有一些語音信息，中間老師說了什么，學(xué)生回答了什么，這些數(shù)據(jù)會被記錄下來。對于 AI 來說，這些都是很寶貴的資源。它一定是 Multimodal Machine Learning，今年 CMU 的教授寫了一篇新的文章，文章很好地總結(jié)了 Multimodal 的問題，這里有五大問題是我們希望能解決的：

1、Multimodal 的情況下，我們怎么樣做一些表征，表征學(xué)習(xí)可以學(xué)習(xí)到所有的數(shù)據(jù)。

2、Translation，有了視頻數(shù)據(jù)和音頻數(shù)。

3、Alignment，這兩個對應(yīng)起來，老師講一個課件，這張課件是靜止的，第一個講課件的上面，第二個是課件的下面。

4、Fusion 融合。

5、Co-Learning。

具體應(yīng)用到需要的 AI 技術(shù)，這個大家都比較理解，更多是方向上的東西，Multimodal Machine Learning 需要梳理不同的數(shù)據(jù)，需要的 AI 技術(shù)也是各種各樣的，它是各種融合的過程。比如說 Speech，我們需要 ASR、需要降噪的方法；比如說數(shù)據(jù)挖掘，它需要更綜合的能力，我們預(yù)測學(xué)生什么時候會退費(fèi)，如何給學(xué)生推薦最適合他的老師，包括做一些個性化知識圖譜，它需要的各種技能是不一樣的，包括很多的模型是部署在端上的，教室的資源有限，我們在端上會有一些模型的加速和優(yōu)化。

前面講了數(shù)據(jù)和大概 AI 的范疇，我們中間會遇到什么樣的挑戰(zhàn)？這里的挑戰(zhàn)非常多：

一是小數(shù)據(jù)。 各種教學(xué)場景可以產(chǎn)生海量數(shù)據(jù)，但大部分的數(shù)據(jù)是無標(biāo)簽的，小數(shù)據(jù)是指有標(biāo)簽的數(shù)據(jù)會非常少，機(jī)器學(xué)習(xí)是需要有標(biāo)簽的數(shù)據(jù)。

二是異構(gòu)性。異構(gòu)性和 Multimodal 是強(qiáng)綁定的，數(shù)據(jù)由不同的來源產(chǎn)生，有天然的異構(gòu)性。

三是數(shù)據(jù)的質(zhì)量問題。數(shù)據(jù)質(zhì)量是什么意思？高質(zhì)量的標(biāo)簽獲取是非常困難的，上了一堂課想預(yù)測這堂課好不好，好不好需要打一個標(biāo)簽，這個時候的標(biāo)簽主觀性非常強(qiáng)，可能給十個老師打，可能六個好，四個不好，這堂課好不好是有分歧的。

四是評價，短期沒法量化，對AI有一些困難和影響。

基于上面說的問題，好未來做了一些很接地氣的 AI 應(yīng)用，來具體解決好未來場景中解決的問題。我們部署的系統(tǒng)在好未來已經(jīng)跑起來真正在用了，每天都會在處理成千上萬節(jié)課，這些工作我們都會發(fā)表在相關(guān)的會議或是頂級的雜志上，比如說 WWW、ICDE、AIED 等，包括我們部署的系統(tǒng)，包括課堂的監(jiān)控這些維度，以及包括我們做的中文評測表達(dá)等。

快速舉幾個例子：

第一，我們今年已經(jīng)在澳門 ICDE 上發(fā)表過一篇文章，如何從眾包的標(biāo)簽中進(jìn)行學(xué)習(xí)？為什么我們要眾包標(biāo)簽學(xué)習(xí)？我們需要大量的數(shù)據(jù)進(jìn)行學(xué)習(xí)，除了需要大量的數(shù)據(jù)，我們需要很精準(zhǔn)的標(biāo)簽，現(xiàn)實(shí)的世界中有標(biāo)簽的數(shù)據(jù)比較小。我們怎么辦？就是找人標(biāo)，這是毫無疑問的，找人標(biāo)就是 Crowdsourcing，找到人標(biāo)的數(shù)據(jù)一定不是海量的數(shù)據(jù)。

基于這樣的情況，如何使用現(xiàn)有的方法解決現(xiàn)有的問題？我們的數(shù)據(jù)量有限，可以做一些 Grouping，藍(lán)色是正例，紅色是負(fù)例，藍(lán)色 100，紅色 50 個，一共 150 個樣本，這是無法做深度學(xué)習(xí)的；雖然樣本單個很小，但是我們可以做一些組合和配對，通過組合我們可以產(chǎn)生很多的樣本量。五個人打標(biāo)簽可能是 3 比 2，最簡單的情況下，雖然是 3 比 2 給它一個知信度，給它 0.6，每個人打的標(biāo)簽不一樣。我們提出了深度學(xué)習(xí)的框架，通過 Grouping 的方法和對樣本標(biāo)簽的 Confidence，和 Model Learning，我們可以得到深度學(xué)習(xí)的模型。具體細(xì)節(jié)可以詳細(xì)閱讀我們的論文 Learning Effective Embeddings From Crowdsourced Labels: An Educational Case Study。

接下來我們介紹自動批改作業(yè)。

自動批改的場景是什么？自動批改不是你給我一個高考卷子，我給你改出多少分，只是想解決特定的問題；比如說一個學(xué)生在家解一道題，他的父母在側(cè)面拍小視頻，這個視頻會傳到我們的后端，后端會有程序進(jìn)行自動批改，這是數(shù)據(jù)產(chǎn)生的場景。

我們會給學(xué)生布置題目，在好未來會稱為口述題，口述題想解決什么問題？眾所周知，相對于外國人的開朗，中國人以前受到的教育要謙虛、低調(diào)，可能會比較木訥一些；我們希望中國人在這方面不輸給外國人，我們從小培養(yǎng)學(xué)生的中文口語表達(dá)能力?；谶@個大背景，我們希望小孩不停地說，我們希望給小學(xué)生出一道題，他能講解這個題的過程，我們不關(guān)系這道題的答案，希望他能講解出來，這是我們設(shè)計題的初衷。

從具體案例來看，這個題目是很受歡迎的，效果也很不錯，但背后我們遇到一些問題，就是老師改不過來了。試想一下，如果一個班如果有 30 個學(xué)生，一個學(xué)生上傳兩到三分鐘的視頻，老師聽、寫評語、改一下，一個學(xué)生老師要花五分鐘，有三十個學(xué)生，老師憑空多花 150 分鐘，非常浪費(fèi)時間。

那么 AI 能不能幫老師做一些輔助批改？基于這樣的初衷，我們設(shè)計了 AI 輔助批改解決方案，我們有學(xué)生的答案和老師的標(biāo)準(zhǔn)答案，我們會有兩方面的文本；通過 Transformer 和 Multiway Attention，對學(xué)生提交的答案和相關(guān)的問題，進(jìn)行深度的語義融合和匹配，實(shí)現(xiàn)口述題的輔助批改。我們做了很多實(shí)驗(yàn)，我們創(chuàng)新提出的方法，打敗了傳統(tǒng)機(jī)器學(xué)習(xí)的方法、深度學(xué)習(xí)的方法。具體的實(shí)現(xiàn)細(xì)節(jié)，可以參考我們今年在 AIED 上發(fā)表的論文 Automatic Short Answer Grading via Multiway Attention Networks 。

下面介紹我們在后臺上線的真實(shí)系統(tǒng)，這個系統(tǒng)就是在線課堂質(zhì)量管控系統(tǒng)。

舉一個簡單的例子，這是一個傳統(tǒng)的在線一對一的上課畫面，一邊是老師，一邊是學(xué)生，中間是課件。其中的問題是什么？這堂課上下來只有學(xué)生知道、只有老師知道，沒有其他任何人知道這堂課上的怎么樣，因?yàn)榧议L是不會坐在邊上看的；假如這個學(xué)生馬上高考了，他不愛學(xué)習(xí)，成績很差，經(jīng)常在家打游戲，如果這個老師并沒有很好地教學(xué)生上課，而是教學(xué)生如何打游戲，會發(fā)生什么樣的情況？學(xué)生很開心，家長問學(xué)生這堂課學(xué)得怎么樣？學(xué)生會說這個老師教得特別棒，教得特別好……這樣的情況是我們不希望發(fā)生的。我們想杜絕這些不應(yīng)該在傳統(tǒng)課堂上發(fā)生的現(xiàn)象，通過人工檢查的方式一定是做不到的，而這種案例是極其致命的，家長發(fā)現(xiàn)一次這樣的情況，家長不再相信這個品牌，會產(chǎn)生退課和一系列的壞的口碑傳播。

所以我們希望通過 AI 來監(jiān)控課堂質(zhì)量，學(xué)生維度和老師維度我們都會監(jiān)測。在學(xué)生維度，我們希望這堂課學(xué)生頻繁開口，我們會監(jiān)控學(xué)生的表達(dá)次數(shù)，同時包括學(xué)生有沒有主動提問，學(xué)生的提問次數(shù)、學(xué)生有沒有按老師的要求記筆記等。老師緯度我們會監(jiān)控更多，我們希望提高整體的教學(xué)質(zhì)量，包括紅線詞（老師上課有沒有說罵人的話），老師的靜默時間，老師有沒有提問學(xué)生，老師有沒有帶著學(xué)生記筆記，老師有沒有講和學(xué)科相關(guān)的東西，而不是閑聊等。

第一步是簡單的運(yùn)營手段，有了這個我們可以有運(yùn)營的管理閉環(huán)，不好的事情發(fā)生，可以對老師進(jìn)行處理，這是 AI 落地教學(xué)管理運(yùn)營的閉環(huán)。這不是我們的最終目的，我們的目的是用 AI 提供極致的教學(xué)體驗(yàn)和達(dá)到良好的教學(xué)效果。這個教學(xué)體驗(yàn)可以通過 AI 進(jìn)行多維度量化，我們稱為“四色分級”，紅色是最差，綠色是最好的，上完課會對課堂打分，如果是紅色說明這堂課非常差，隨著課堂的演進(jìn)和變化效果越來越好，希望最終都是綠色，這是課堂的量化。

在做 AI+ 教育的過程中，有很多的挑戰(zhàn)，也有很多的機(jī)遇。其中要解決的很多問題都是學(xué)術(shù)界不曾存在的問題，包括眾包的相關(guān)問題以及很多小數(shù)據(jù)的問題；現(xiàn)階段學(xué)術(shù)界很多東西才剛開始做，包括小樣本學(xué)習(xí)。

我剛才介紹了 AI+ 教育的挑戰(zhàn)以及落地的應(yīng)用，很多時候里面的機(jī)會很大，還有很多的問題不曾被人研究過。這里挑戰(zhàn)是很巨大的，同時也有很大的機(jī)遇。

謝謝大家！