網(wǎng)易推易盾內(nèi)容審核系統(tǒng)修煉出的鑒黃師“讀心術(shù)”

什么是鑒黃師？

在《2019網(wǎng)易易盾內(nèi)容安全智能體系發(fā)布會》的現(xiàn)場，主講臺上的大屏幕中展示了這樣一段街拍內(nèi)容—;—;一名主持人正隨機(jī)攔住路人，并向他們逐一詢問上述這一問題：

被問到的第一位“幸運(yùn)觀眾”是位漂亮的小姐姐，當(dāng)聽到這個(gè)問題，她噗嗤一聲笑了出來，上揚(yáng)的嘴角似乎蘊(yùn)含著百般回味。

緊接著，被詢問的是一名清潔工伯伯。聽到這個(gè)問題，他將半掛在臉上的口罩重新戴上，支支吾吾回了一句：“這個(gè)......是高科技，我只是個(gè)清潔工?！?/p>

第三位受訪者，是位年輕氣盛的小哥。當(dāng)面對美女主持人的提問時(shí)，直接羞紅了臉，卻故作鎮(zhèn)定地問道：“除了要看很多......資料，還有啥其他的嗎？原來網(wǎng)易還有這個(gè)職位的嗎？（恍然大悟）”

屏幕對面，熙熙攘攘的與會嘉賓對話聲中傳出陣陣嬉笑聲。顯然，這街拍內(nèi)容是說到心坎里去了......

實(shí)際上，在網(wǎng)易易盾內(nèi)部，鑒黃師這份工作又被稱之為內(nèi)容審核專員。然而，從事著這份職業(yè)的人們，似乎并不像我們想象中那樣，每天過著“快活似神仙”的生活。

其實(shí)，內(nèi)容審核并不像一般人們認(rèn)為的只有鑒黃這一種。更多時(shí)候，他們所面對的是黃色、暴力、涉恐、等高敏感度的信息，更忍受著長期精神和身體上的創(chuàng)傷。然而，內(nèi)容審核的漫漫長征路這才算剛剛開始。

借助此次大會，網(wǎng)易易盾產(chǎn)品總監(jiān)饒曉艷向我們分享了她眼中那些內(nèi)容審核人員的血淚史，并為突破種種人工審核難點(diǎn)推出了全新解決方案—;—;智能內(nèi)容審核管理系統(tǒng)。

其實(shí)，這一系統(tǒng)原本是網(wǎng)易內(nèi)部使用的內(nèi)哦讓審核工具，隨著這次發(fā)布會的亮相，也意味著該系統(tǒng)將正式對外開放。So，為啥網(wǎng)易易盾要選這個(gè)時(shí)間開放自己的內(nèi)容審核管理系統(tǒng)？好不好用、有啥功能......

一塊壓垮人工審核的巨石

人工智能技術(shù)的發(fā)展，為很多行業(yè)帶來便利。面對專一性較強(qiáng)的工作，這類機(jī)器在準(zhǔn)確度、效率和持久性上完勝人類。

然而，它們偏偏拿內(nèi)容審核沒轍。

以鑒黃師為例，人工智能的鑒定只能將海量視頻/圖片中的疑似黃色內(nèi)容篩選出來，它可以將審核范圍從無邊無際中圈出一個(gè)范圍，但并不能像人一樣理解每張圖片中內(nèi)容的準(zhǔn)確含義。

試想，一張屁股的圖片，如果整張拿給AI去識別，它準(zhǔn)能認(rèn)出這個(gè)少兒不宜。然而，如果我將圖片切成四份并打亂順序呢？如果是人，你那顆機(jī)智的大腦會立即還原出這張照片的原貌，而AI不行。

網(wǎng)易易盾CTO朱浩齊稱，隨著內(nèi)容產(chǎn)量、形態(tài)的驟增，黑灰產(chǎn)也在不斷學(xué)習(xí)和進(jìn)化。很多時(shí)候他們會故意放出一些敏感內(nèi)容來試探我們的AI審核機(jī)制，再在摸清規(guī)律后對圖片進(jìn)行處理。

他們試圖將敏感位置做極小面積的覆蓋，或干脆將圖片切割成若干分，并在每張插入一個(gè)小的色情圖片......只要與之前的鑒別邏輯不符，很容易騙過機(jī)器的眼睛。

解決問題的最簡單辦法，就是上肉眼。

然而，隨著內(nèi)容生產(chǎn)量的驟增、用戶體驗(yàn)及負(fù)面事件風(fēng)險(xiǎn)提高以及審核標(biāo)準(zhǔn)嚴(yán)苛細(xì)化，各種各樣非標(biāo)準(zhǔn)化審核管理系統(tǒng)猶如一塊巨石壓得審核工作者喘不過氣。

一方面，在國內(nèi)，主流的社交媒體平臺的審核人員都達(dá)到上千人以上的規(guī)模；而在國外，F(xiàn)acebook在自有算法的情況下人工審核團(tuán)隊(duì)達(dá)到1.5萬人，youtube在谷歌大腦算法支持的情況下同樣在2018年審核團(tuán)隊(duì)達(dá)到了一萬人。

由此可見，人機(jī)協(xié)同仍是未來很長一段時(shí)間的審核模式。然而，人畢竟不是機(jī)器，而是有血有肉的生命。

另一方面，內(nèi)容商往往希望運(yùn)營部門保障用戶體驗(yàn)，不能讓用戶的等待時(shí)間過長。盡管人人皆知安全第一，但人工審核勢必難以在這條先審后發(fā)搶奪用戶的賽道上取得好成績。

這意味著每天會有大量UGC的內(nèi)容產(chǎn)生，人工審核與需求量不成正比。

當(dāng)一目十行已經(jīng)太少，需求量變成一目百行、一目萬行的時(shí)候，對于人工審核又快又準(zhǔn)的最低標(biāo)準(zhǔn)便顯得近乎苛刻。

更何況，即使是人工審核，也會遇到對某些內(nèi)容束手無策的時(shí)候。

今年12月，F(xiàn)acebook宣布撥款1.3億美元建獨(dú)立“刪帖法庭”。用小扎的話說，在我們很難憑借一己之力來判斷一個(gè)內(nèi)容是否該被刪除時(shí)，除了通過建立一個(gè)類似“最高法庭”的機(jī)構(gòu)來決定，我們別無他法（扎克伯格成會邀請美國各界人士加入“刪帖法庭”以保證公正性）。

很多內(nèi)容的含義并不能用標(biāo)簽化的方式來判斷，這是人工審核容易犯難的地方，而除了鑒別各類內(nèi)容，人工審核還不得不應(yīng)對雜亂無章的審核管理體系，這對于加快人工審核速率沒有一點(diǎn)幫助。

會議現(xiàn)場，某社交平臺的工作人員向雷鋒網(wǎng)透露，自己每天要在三個(gè)審核管理平臺進(jìn)行交替作業(yè)：首先是頭像昵稱審核，再者是登錄視頻審核平臺，如果收到舉報(bào)還要再登錄一個(gè)舉報(bào)審核后臺......

有1000個(gè)產(chǎn)品就有1000+個(gè)審核后臺，這種感受，要比你把登了QQ登微信重復(fù)上萬遍更崩潰，又何談高效、準(zhǔn)確的審核內(nèi)容呢？

在饒曉艷看來，上述問題的背后體現(xiàn)的是業(yè)務(wù)需求先行，審核需求處于滯后的現(xiàn)狀。歸根結(jié)底，是快速發(fā)展的內(nèi)容平臺、日趨嚴(yán)苛的審核標(biāo)準(zhǔn)跟陳舊的審核系統(tǒng)之間的一種矛盾。審核系統(tǒng)沒有專門的設(shè)計(jì)開發(fā)，不會考慮用戶體驗(yàn)或者效率多少，這正是產(chǎn)生問題的原因所在。

打造人工審核的“助力裝置”

打造全新的審核系統(tǒng)，無異于推到一棟樓重頭再來。

饒曉艷在接受雷鋒網(wǎng)獨(dú)家采訪時(shí)稱，對技術(shù)人員來說，真的沒人希望再做一次審核系統(tǒng)，這意味著以前的審核系統(tǒng)架構(gòu)要完全推翻，根據(jù)新的審核需求重新定義整個(gè)系統(tǒng)，從底層重新來過。

然而，今天公布的智能審核管理系統(tǒng)已經(jīng)是網(wǎng)易易盾對內(nèi)推出的第三代審核系統(tǒng)了，再加上第一代的審核后臺和第二代的多媒體審核系統(tǒng)，一同刻畫出網(wǎng)易不同階段對內(nèi)容審核需求的諸多轉(zhuǎn)變。

早期，這一系統(tǒng)并沒有對外公開的計(jì)劃。

但正如上述，在饒曉艷團(tuán)隊(duì)走訪的眾多客戶中，他們聽到了與網(wǎng)易內(nèi)部需求類似的聲音—;—;審核人員和主管都十分關(guān)心審核系統(tǒng)是否能讓業(yè)務(wù)有更好的審核效率，以及怎樣能幫助節(jié)省成本。

基于以上，網(wǎng)易易盾決定將內(nèi)部使用的這套審核管理工具產(chǎn)品化。至于究竟要打造怎樣的審核系統(tǒng)，細(xì)細(xì)品味起來側(cè)重點(diǎn)則是有點(diǎn)當(dāng)初微軟打造第一個(gè)電腦操作系統(tǒng)的感覺。

面對凌亂、繁雜的各種審核系統(tǒng)，網(wǎng)易易盾一方面希望自己的產(chǎn)品具備高集成度和開放性，另一方面更希望操作、視覺能在審核人員、弱勢群體和無經(jīng)驗(yàn)工作者面前體現(xiàn)出極度的界面友好。

那么，它們打算如何實(shí)現(xiàn)這些設(shè)想呢？

首先，是全面豐富。這是指審核管理系統(tǒng)容納包含音視頻內(nèi)容、圖片內(nèi)容和文本內(nèi)容的全生命周期的審核鏈路。

在此基礎(chǔ)上，加入了極速審核、分類審核、二審模式、質(zhì)檢審核、全量審核以及部分審核的多選擇，以應(yīng)對適配不同審核時(shí)效、多重審核流程和不同進(jìn)審核要求。

其次，是智能高效。是指各個(gè)審核邏輯都建立在智能引擎推動的前提之下，這是節(jié)省人力成本的關(guān)鍵，也是打造友好界面的關(guān)鍵（之后會提到）。

一方面，人工智能作為初期的審核工具，依據(jù)標(biāo)簽、模型算法，可以按照審核需求（業(yè)務(wù)、管理制度等）對內(nèi)容進(jìn)行聚列，并自動生成數(shù)據(jù)報(bào)表，以方便人工就單一特征進(jìn)行定向?qū)徍耍ㄒ话阋髮徍巳藛T20分鐘出帖）。

再者，是輕量靈活。俗話說辦法總比困難多，面對層出不窮的新問題，定制化模塊可以解決針對特有客戶的需求進(jìn)行專門設(shè)計(jì)。

然而，原本定義高集成度的審核管理系統(tǒng)，如果再加上無數(shù)個(gè)定制模塊，這是否會讓整個(gè)系統(tǒng)再次變得臃腫不堪呢？

饒曉艷認(rèn)為，定制化模塊并不意味著只能解決某家企業(yè)的單一問題。新的模塊對應(yīng)的一定是一個(gè)群體的共同需求，而隨著市場需求量的不斷增大，該模塊則會直接被并入整個(gè)系統(tǒng)當(dāng)中，畢竟這要比做第四個(gè)審核系統(tǒng)來的容易。

最后，是有溫度。

人工審核有多難做？來，看一張圖就能說明所有問題：

要求：請?jiān)?0分鐘內(nèi)，從以下顯示器的圖片中，找出所有戴毛線帽子未成年小眼睛男性的照片。

讓審核管理系統(tǒng)變得更友好，首先就是做好交互設(shè)計(jì)。

以審核直播電視墻畫面為例，從產(chǎn)品化角度考慮，一個(gè)顯示屏的審核目數(shù)越多，越有利于降低成本，提高審核效率，但勢必會造成質(zhì)量下降。

解決這一問題，易盾團(tuán)隊(duì)首先選擇了幾家內(nèi)容廠商進(jìn)行蹲點(diǎn)跟蹤調(diào)查，并在百度百科上參考了瀏覽器審核可分辨極限值。

調(diào)查結(jié)果顯示：正常人的最少可辨視覺閾值約0.5，即針對22寸1920*1080分辨率的顯示器，人眼在顯示器上可分辨最小像素值范圍為9.81-16.23px，針對24寸1920*1080分辨率的顯示器，人眼在顯示器上可分辨最小像素值范圍為9.39-15.53px。

最終，得出的結(jié)論是—;—;顯示器審核方式下，屏幕可分辨范圍在10-15xp之間，是最小視覺可分辨范圍，也就是說直播視頻審核畫面在9路、12路和16路是最舒適人眼的審核畫面，這在交通監(jiān)控后臺中十分常見。

然而，面對海量的內(nèi)容審核需求，這樣的審核路數(shù)一定無法滿足需求。對此，更多內(nèi)容廠商會使用38路、56路（甚至更高）審核的畫面。那么，該如何實(shí)現(xiàn)人工審核的舒適度與工作效率并駕齊驅(qū)呢？

饒曉艷稱，人工智能引擎的應(yīng)用，可以在多路數(shù)顯示器上進(jìn)行現(xiàn)有畫面的自動審核，并通過提亮顯色對高危、中危等不同程度的內(nèi)容審核做出提示，以達(dá)到對舒適區(qū)之外可能遺漏的問題內(nèi)容進(jìn)行強(qiáng)提醒。

但人終究是要休息的，因此在系統(tǒng)中內(nèi)置定時(shí)休息的提醒功能也十分有必要，這不光可以對審核人員起到保護(hù)作用，更有利于保障審核工作的常效執(zhí)行。

其次，是趣味化。正如開篇提到的，審核內(nèi)容并不像一般人們認(rèn)為的只有鑒黃這一種。更多時(shí)候，他們所面對的是黃色、暴力、涉恐等高敏感度的信息。

為了達(dá)到適當(dāng)調(diào)節(jié)審核人員精神的目的，該系統(tǒng)加入了勛章體系、積分體系和夢想體系，以此達(dá)到讓評比、排名等高競爭力的信息的顯示方式更加趣味化，促進(jìn)人員成長體系的完善。

最后，網(wǎng)易易盾認(rèn)為內(nèi)容審核系統(tǒng)的升級，不光是品牌驅(qū)動、產(chǎn)品需求的剛性體現(xiàn)，更應(yīng)該滿足社會需求。因此，該系統(tǒng)內(nèi)置了無障礙輔助設(shè)計(jì)，可以支持殘障人士完成審核任務(wù)。

目前，網(wǎng)易易盾面向未來的第三代智能審核系統(tǒng)1.0版本已經(jīng)上線，未來將會以一周一迭代的速度進(jìn)行持續(xù)更新。

花絮

大會之后，雷鋒網(wǎng)對饒曉艷進(jìn)行了簡單專訪，以下為對話整理：

1、為什么審核管理系統(tǒng)的功能會在最后落實(shí)到“有溫度”這塊？

饒曉艷：體驗(yàn)舒適為導(dǎo)向，一方面來自于對人工審核性質(zhì)的考慮，更多的還是基于客戶的需求推動。在我們與客戶的交流過程中，審核人員的身體、心理健康程度是直接影響審核結(jié)果和收益的重要組成部分。

未來，我們還將為無障礙輔助系統(tǒng)加入例如多語言切換等各種新的功能支持，以降低內(nèi)容審核的成本。

2、您剛才有提到小扎建立“刪帖法庭”的事情，在國內(nèi)有類似的機(jī)構(gòu)嗎？如果各界人士都參與其中，這是否會成為新的節(jié)省人工的解決方案？

饒曉艷：首先，在國內(nèi)網(wǎng)易易盾發(fā)起了內(nèi)容安全聯(lián)盟，其作用是當(dāng)某產(chǎn)品的用戶對內(nèi)容進(jìn)行投訴，但并沒有得到任何的回應(yīng)，這時(shí)該用戶可以轉(zhuǎn)訴給內(nèi)容安全聯(lián)盟，并由其聯(lián)盟成員對該內(nèi)容是否違規(guī)進(jìn)行判斷。

這種模式，并不能減緩廠商對于人工審核的大量需求。

第三方聯(lián)盟的存在，主要是為了處理一些爭議性較強(qiáng)的內(nèi)容，其不保證及時(shí)性。對于內(nèi)容廠商來說，快速、高效、準(zhǔn)確、合規(guī)是內(nèi)容審核的最大難點(diǎn)，“刪帖法庭”的類似機(jī)構(gòu)并不能有效解決這些問題。

即使啟用了第三方審核，也能達(dá)到審核的相應(yīng)標(biāo)準(zhǔn)，那這種服務(wù)一定是走付費(fèi)標(biāo)準(zhǔn)的，不會從解決紛爭的角度來處理這件事，這會增加廠商的審核成本。

3、一般視頻、圖片和文本不同方向的客戶，哪一個(gè)在內(nèi)容審核時(shí)需要的人力成本更高？

饒曉艷：這個(gè)沒有辦法以一概全。從審核效率來衡量，圖片、視頻的審核效率要高于文本，視頻、圖片的審核，歸根結(jié)底都是圖片的審核。相比文本審核，視頻、圖片的審核速度會高1倍多。

其主要原因在于審核方式的不同，圖片的審核，在AI的加成下可以根據(jù)其特征、類型和內(nèi)容導(dǎo)向做到批量審核，盡管文本也可以做聚類分析，但更需要人眼逐字逐句看過并參悟其含義，一目幾百行的情況是不存在的。