又一巨頭搞歧視!亞馬遜AI招聘工具被曝性別歧視
亞馬遜公司的機(jī)器學(xué)習(xí)專家發(fā)現(xiàn)了一個大問題:他們的新招聘引擎不太喜歡女性。
據(jù)路透社援引五位知情人士的消息稱,從2014年開始,這支團(tuán)隊(duì)一直在開發(fā)審核求職者簡歷的計(jì)算機(jī)程序,希望實(shí)現(xiàn)人才搜索的機(jī)械化。
一直以來,亞馬遜在電商市場稱霸的關(guān)鍵便是倉庫或定價決策的自動化。公司的試驗(yàn)性招聘工具會利用人工智能技術(shù)為求職者打分(一星到五星不等)——一些人表示,這就像是購物者在亞馬遜上給產(chǎn)品評分。
一位知情人士說道,“他們真的希望有這樣一種引擎,那就是我扔給你100份簡歷,你能區(qū)分出排名前五的求職者,然后我們就雇傭這部分人。”
但到2015年,公司意識到它的新系統(tǒng)并不能基于“性別中立”的原則來為軟件開發(fā)者崗位或是其他技術(shù)崗位的求職者進(jìn)行評級。
這也許是因?yàn)閬嗰R遜的計(jì)算機(jī)模型在接受訓(xùn)練時,觀察的是十年來投遞給公司的簡歷并要從中發(fā)現(xiàn)固有模式。大多數(shù)簡歷都是男性投遞的,這也反映了科技行業(yè)男性主導(dǎo)的現(xiàn)象。
事實(shí)上,亞馬遜的系統(tǒng)是自己學(xué)會優(yōu)選男性求職者的。據(jù)知情人士透露,該系統(tǒng)會給予包含“女性”這個詞的簡歷以低星評級。它還會給兩所女子大學(xué)的畢業(yè)生進(jìn)行降分評級。知情人士并未透露兩所學(xué)校的名字。
亞馬遜修改了這些程序,使其對于特定的術(shù)語可以秉持中立的原則。但是,這依然無法保證機(jī)器不會想出其他的方式、以歧視性的態(tài)度對一些求職者進(jìn)行分類。
最終,這家西雅圖公司因?yàn)楦邔庸芾砣藛T對該項(xiàng)目失去了信心,在去年初解散了該團(tuán)隊(duì)。知情人士表示,在之前招聘新員工時,亞馬遜的招聘人員會查看該工具提供的建議,但絕對不會單單依賴這些排名作出決策。
亞馬遜拒絕對于該招聘引擎或面臨的挑戰(zhàn)作出評論,但是公司表示自己一直致力于保證公司的員工多樣性和平等。
公司的此次實(shí)驗(yàn)也為機(jī)器學(xué)習(xí)的限制提供了一項(xiàng)案例研究。對于越來越多想要實(shí)現(xiàn)招聘流程部分自動化的企業(yè)來說,例如希爾頓全球控股公司和高盛集團(tuán)公司,
這也是一次經(jīng)驗(yàn)和教訓(xùn)。
根據(jù)人才軟件公司CareerBuilder 2017年進(jìn)行的一項(xiàng)調(diào)查,55%的美國人力資源經(jīng)理表示人工智能將在未來五年時間內(nèi)成為他們?nèi)粘9ぷ髦胁捎玫墓ぞ摺?/p>
雇主一直以來想要利用科技擴(kuò)大招聘網(wǎng)、減少對于招聘人員主觀看法的依賴。但是一些計(jì)算機(jī)科學(xué)家,包括在卡內(nèi)基梅隆大學(xué)教授機(jī)器學(xué)習(xí)的Nihar Shah,他們均表示這件事依然路漫漫其修遠(yuǎn)兮。
“如何確保算法的公平、如何確保算法的可理解性以及可解釋性——這還需要很長一段時間來實(shí)現(xiàn)。”他這樣說道。
男性話語
亞馬遜開始實(shí)驗(yàn)之時,正是這家全球最大在線零售商發(fā)展的關(guān)鍵時機(jī)。由于低成本計(jì)算力的激增,機(jī)器學(xué)習(xí)在科技行業(yè)內(nèi)吸引了大家越來越多的關(guān)注。而亞馬遜的人力資源部門也開始瘋狂招聘員工:根據(jù)提交給監(jiān)管機(jī)構(gòu)的文件顯示,從2015年6月開始,公司的全球員工總數(shù)已經(jīng)增加了兩倍多,人數(shù)為57.57萬人。
因此,公司在亞馬遜愛丁堡的工程中心建立了一個團(tuán)隊(duì),團(tuán)隊(duì)人數(shù)大約在十幾人左右。據(jù)知情人士透露,他們的目標(biāo)就是開發(fā)人工智能技術(shù),使其快速抓取網(wǎng)頁信息、發(fā)現(xiàn)值得招聘的求職者。
團(tuán)隊(duì)開發(fā)了500個專注于特定工作職能及位置的計(jì)算機(jī)模型。他們會訓(xùn)練每個模型去識別過去求職者簡歷中出現(xiàn)的5萬個術(shù)語。算法會學(xué)習(xí)給IT求職者中常見的技能進(jìn)行重要級排序,比如說編寫不同程序的能力等。
事實(shí)上,這項(xiàng)技術(shù)會偏向于那些在簡歷中使用動詞來描述自己的求職者,使用動詞這一點(diǎn)在男性工程師的簡歷中常常會看到,例如“執(zhí)行”、“抓取”等。
性別歧視不是唯一出現(xiàn)的問題。支撐該模型作出判斷的數(shù)據(jù)問題還在于,不合格的候選人會被推薦到不同的崗位。知情人士表示,鑒于這項(xiàng)技術(shù)會隨機(jī)反饋結(jié)果,亞馬遜最終終止了該項(xiàng)目。
問題還是解決方法?
其他公司也在前赴后繼進(jìn)行嘗試,這也表明雇主們都迫切想要將人工智能技術(shù)用于人才招聘。
鹽湖城附近的一家創(chuàng)業(yè)公司HireVue的首席執(zhí)行官凱文·帕克(Kevin Parker)表示,自動化可以幫助企業(yè)跳出他們以往長期依賴的一成不變的招聘網(wǎng)絡(luò)。他的公司會在視頻面試中分析求職者的言語和面部表情,進(jìn)而減少對簡歷的依賴。
“你不會再去采用老一套的招聘方式。你不會只顧著看求職者是不是常青藤盟校畢業(yè)的。”帕克說道。他公司的客戶包括聯(lián)合利華和希爾頓。
該公司表示高盛已經(jīng)開發(fā)了自己的簡歷分析工具,會將求職者與“最適合”他們的部門進(jìn)行匹配。
微軟旗下的LinkedIn是全球最大的職業(yè)社交網(wǎng)絡(luò),在這一方面,它取得的進(jìn)展較為明顯。它會根據(jù)網(wǎng)站上發(fā)布的崗位消息,利用算法為雇主提供求職者的排名。
LinkedIn Talent Solutions的副總裁約翰·杰辛(John Jersin)表示,這項(xiàng)服務(wù)并不能替代傳統(tǒng)的招聘人員。
“我當(dāng)然不會放心由任何一種人工智能系統(tǒng)自行作出招聘決策。”他說道,“現(xiàn)在的技術(shù)還沒有發(fā)展到那個地步。”
一些活躍人士表示很擔(dān)心人工智能的透明度問題。美國公民自由聯(lián)盟(ACLU)正在爭取立法,允許經(jīng)研究人員和記者測試過后、對采用歧視性算法的招聘網(wǎng)站提起刑事檢控。
“我們已經(jīng)越來越關(guān)注算法的公平性問題。”ACLU種族司法項(xiàng)目的律師瑞秋·古德曼(Rachel Goodman)說道。
但是古德曼以及其他批判人工智能技術(shù)的人士也承認(rèn),要想就自動化招聘問題起訴雇主,這是一件極度困難的事情:崗位求職者也許永遠(yuǎn)都不會知道企業(yè)是否采用了這種技術(shù)。
對于亞馬遜來說,公司已經(jīng)成功從失敗的人工智能項(xiàng)目中吸取到了經(jīng)驗(yàn)和教訓(xùn)。據(jù)知情人士稱,公司目前使用的是一種“淡化”版的招聘引擎,這將幫助公司處理一些基本工作,包括從數(shù)據(jù)庫中剔除重復(fù)的求職者資料。
公司在愛丁堡還成立了一個新的團(tuán)隊(duì),將再次嘗試自動化招聘篩選,這一次實(shí)驗(yàn)關(guān)注的是多樣性問題。