IBM:Watson可致患者死亡,人工智能仍然遠(yuǎn)非完美
剛被曝光的IBM內(nèi)部文件顯示,許多醫(yī)生在使用Watson時(shí),發(fā)現(xiàn)AI給出了“多個(gè)不安全、不正確的治療意見”,甚至在極端的診斷案例中,Watson給有出血癥狀的癌癥病人開了容易導(dǎo)致出血的藥品,嚴(yán)重時(shí)可致患者死亡。
去年,在美國(guó)臨床腫瘤學(xué)會(huì)年會(huì)上發(fā)表的研究表明,IBM Watson非常擅長(zhǎng)為癌癥患者制定治療計(jì)劃。然而,事實(shí)證明人工智能仍然遠(yuǎn)非完美。
可能你還不知道,明顯存在bug的Watson系統(tǒng)并不是一個(gè)實(shí)驗(yàn)室中樣品,這個(gè)可能會(huì)治死人的Watson已被全球超過230家醫(yī)院使用,其中包括北大腫瘤醫(yī)院、宣武醫(yī)院等67家中國(guó)醫(yī)院,分布在22個(gè)省份。
佛羅里達(dá)州朱庇特醫(yī)院的一位醫(yī)生告訴IBM高管,“在大多數(shù)情況下我們不能使用它。”
這些文件來(lái)自IBM Watson前副衛(wèi)生主任Andrew Norden在他離開公司之前的演講,一般只有IBM的管理層有權(quán)限查看。Norden在2017年6、7月間給出的報(bào)告顯示,正在使用Watson for Oncology(Watson腫瘤解決方案)的醫(yī)生們紛紛指出,Watson經(jīng)常提出不準(zhǔn)確的醫(yī)療建議。
文件中一個(gè)嚴(yán)重的例子是:
一名65歲的男性被診斷出患有肺癌,而同時(shí),該患者也似乎有嚴(yán)重的出血癥狀。Watson給這名患者的診療建議是:
1、接受化療;
2、使用治療癌癥的藥物貝伐單抗(Bevacizumab,商品名Avastin阿瓦斯?。?。
而貝伐單抗這種藥物可能導(dǎo)致的副作用之一,正是容易導(dǎo)致出血。在美國(guó)衛(wèi)生系統(tǒng)藥劑師協(xié)會(huì)對(duì)該藥物的描述中,這種藥物有時(shí)會(huì)發(fā)生嚴(yán)重乃至致命的出血事件,所以該協(xié)會(huì)建議不要給嚴(yán)重出血的患者服用。
除了展示客戶不滿意外,他們還揭示了方法、過程和底層技術(shù)上的問題:Watson for Oncology應(yīng)該綜合大量數(shù)據(jù)并提出新穎的見解。但事實(shí)上,提供給它的大多數(shù)數(shù)據(jù)都是假設(shè)的,而不是真實(shí)的患者數(shù)據(jù)。這意味著Watson提出的建議僅僅基于提供數(shù)據(jù)的少數(shù)醫(yī)生,們的治療偏好,而不是從分析真實(shí)案例中獲得的實(shí)際見解。
一位IBM發(fā)言人曾表示,Watson for Oncology“支持超過84,000名患者的護(hù)理”并且仍在學(xué)習(xí)。但很顯然,它學(xué)的或者并不是基于真實(shí)的情況。據(jù)媒體報(bào)道,有這一系統(tǒng)的230家醫(yī)院中,至少包含了67家中國(guó)醫(yī)院。
Watson最早進(jìn)入公眾視野是在2011年,它當(dāng)時(shí)在電視智力節(jié)目中擊敗了人類。這套系統(tǒng)具備強(qiáng)大的自然語(yǔ)言處理和數(shù)據(jù)庫(kù)掃描能力,因而可以理解現(xiàn)場(chǎng)的復(fù)雜問題,快速給出答案。
外界對(duì)Watson這臺(tái)智能超算的有效性,已經(jīng)進(jìn)一步產(chǎn)生了質(zhì)疑。IBM向Watson業(yè)務(wù)投入數(shù)十億美元,但“Watson醫(yī)生”尚未給醫(yī)療行業(yè)帶來(lái)革命,而且該部門對(duì)IBM仍然很難實(shí)現(xiàn)盈利。
雖然紀(jì)念斯隆-凱特琳癌癥中心認(rèn)為醫(yī)生們給人看病的時(shí)候不傻,不會(huì)完全聽信Watson,但醫(yī)生們的懷疑和抱怨卻并不會(huì)因此消減。
首先這個(gè)案例說明:Watson的訓(xùn)練,是通過假設(shè)性的癌癥病例,而不是真實(shí)的患者數(shù)據(jù)來(lái)進(jìn)行。而此前IBM的高管一再告訴客戶:“Watson for Oncology的建議是基于真實(shí)的患者數(shù)據(jù),全世界的醫(yī)生都喜歡這種工具”。
這讓外界對(duì)Watson的有效性進(jìn)一步產(chǎn)生了質(zhì)疑。佛羅里達(dá)州的朱庇特醫(yī)院就是憤憤不滿的客戶之一。在這份IBM的機(jī)密文件中,朱庇特醫(yī)院的一位醫(yī)生憤怒的說:“這玩意簡(jiǎn)直就是一坨翔!我們買Watson來(lái),是因?yàn)樗臓I(yíng)銷搞的很厲害,讓我們覺得能靠它來(lái)實(shí)現(xiàn)一些愿景。結(jié)果買來(lái)之后呢?這玩意什么都做不了!”
事件曝光后,朱庇特醫(yī)院的腫瘤科醫(yī)生Sujal Shah表示,只有當(dāng)朱庇特醫(yī)院的醫(yī)生們對(duì)兩種不同的治療方案無(wú)法達(dá)成一致的時(shí)候,醫(yī)生們才會(huì)看看Watson站哪邊——現(xiàn)在5:5平,Watson你來(lái)投個(gè)票吧。
STAT此前的一項(xiàng)調(diào)查顯示,Watson for Oncology其實(shí)沒有達(dá)到IBM的預(yù)期,而這次曝光的文件表明,IBM的高管們知道自家產(chǎn)品給出的治療建議與國(guó)家治療指南相沖突,以及醫(yī)生認(rèn)為這套系統(tǒng)作用不大。
當(dāng)然,一直以來(lái)IBM高管都對(duì)Watson贊譽(yù)有加。
被曝光的文件中還顯示,有幾位IBM員工對(duì)Norden直言,Watson這套產(chǎn)品的能力“非常有限”。
在給STAT的聲明中,IBM表示已經(jīng)根據(jù)客戶反饋、新的科學(xué)進(jìn)展、新的癌癥治療方案等,學(xué)習(xí)和改進(jìn)了Watson Health。
令人擔(dān)憂的是,這個(gè)被爆出會(huì)開錯(cuò)致命藥的醫(yī)療AI,已經(jīng)投入使用,被不少醫(yī)院運(yùn)用在對(duì)真實(shí)病人的診斷治療中。
IBM發(fā)言人說,Watson腫瘤系統(tǒng)受過訓(xùn)練,可幫助腫瘤科醫(yī)生治療13種癌癥,并被全球230家醫(yī)院使用,“支持超過84000名患者的護(hù)理”。而230家醫(yī)院中,至少有67家中國(guó)醫(yī)院(截至2018年7月5日)。
IBM代理商百洋董事長(zhǎng)付鋼在去年10月表示:“目前,Watson for Oncology的服務(wù)多為患者自付費(fèi),平均每人5000元左右。”
參與訓(xùn)練Watson的紀(jì)念斯隆-凱特琳癌癥中心回應(yīng)此事稱:“雖然Watson腫瘤系統(tǒng)提供安全的治療選擇,但治療決策最終需要主治醫(yī)生的參與和臨床判斷,沒有任何技術(shù)可以取代醫(yī)生的工作,也沒有任何技術(shù)可以取代醫(yī)生對(duì)自己病人的了解。”