人工智能的弱點:從醫(yī)療診斷到自主車輛,探索改變單一像素會如何損害先進的深層次學習模型,并探索確保我們的人工智能的未來的關鍵挑戰(zhàn)。
導言
深層次學習 是人工智能(AI)的一個基本組成部分。它的目的是使機器能夠執(zhí)行需要決策機制的任務,這些決策機制往往接近人類的推理機制。DL模型是許多先進應用的核心,如醫(yī)療診斷和自主駕駛。
不幸的是,與所有其他系統(tǒng)一樣,它們也無法避免可能被網絡犯罪分子利用的漏洞。例如,單像素攻擊是通過修改(顧名思義)圖像的一個像素來破壞模型精度的最有效方法之一。
本文解釋了單像素攻擊是如何工作的,以及它們在許多領域可能產生的影響。本文還討論了針對人工智能系統(tǒng)的保護策略,以提高其可靠性和安全性。
概述
深層次學習導論
深層次學習是人工智能的一部分?神經網絡 識別數(shù)據中的模式。這些神經網絡模仿人類大腦的結構和功能,使他們能夠從大量的數(shù)據中學習,并做出預測或決策。例如,深度學習模型可以識別圖像中的物體,理解口語(?自然語言處理 ),甚至用醫(yī)學影像診斷疾病。
為了充分了解深層次學習技術的重要性,以下是其實際使用的幾個例子:
1.健康:醫(yī)學成像
深入學習模型被廣泛應用于醫(yī)學成像的處理和理解,以檢測癌癥等疾病。例如,?卷積神經網絡(CNN) 用于分析乳房X光檢查以檢測乳腺癌。這項技術提供了高度精確的惡性腫瘤鑒定。
它可以通過向放射科醫(yī)生提供第二種意見來幫助降低人類犯錯的風險。
2.自動駕駛
自主車輛依靠DL算法實時處理來自傳感器和相機的數(shù)據。這些模型用于對象檢測、車道識別和決策。例如,特斯拉的自動駕駛儀利用深度學習來處理數(shù)據,并對車輛的環(huán)境做出反應,以確保安全的導航和駕駛。
3.自然語言處理
DL是自然語言處理(NLP)的重要組成部分。在生成型人工智能出現(xiàn)之前,DL就已經在對話技術上取得了進展,比如聊天機器人,谷歌助理和亞馬遜阿列克莎等虛擬助手。這些系統(tǒng)通過深入學習來理解和處理人類語言,從而能夠回答問題,執(zhí)行任務,甚至與用戶進行對話。
還有許多其他例子。在金融部門,正在利用深入學習的模式,通過分析交易模式和查明顯示欺詐的異常現(xiàn)象,發(fā)現(xiàn)欺詐活動。在零售業(yè),像亞馬遜或網飛公司這樣的平臺正在深入學習,提供個性化的推薦。系統(tǒng)分析用戶行為、偏好和購買歷史,以改善用戶體驗,另一方面增加銷售。
所有這些都說明了深入學習在各個部門的影響程度,以及這種技術能夠提高復雜任務的效率和準確性的領域。
是什么激發(fā)了對深入學習的攻擊?
正如我們剛才看到的,深度學習模型是廣泛應用中使用的強大工具。然而,他們可能很容易受到攻擊。網絡犯罪者可以針對這些模型作出錯誤的決定,這可能產生嚴重后果。例如,通過操縱一輛自主汽車的神經網絡,攻擊者可能導致汽車誤解信號,并危及車輛的使用者。
現(xiàn)實生活的例子
在現(xiàn)實生活中,研究人員展示了用于檢測乳腺癌的深學習模型的弱點。通過修改醫(yī)學圖像中的單個像素,他們能夠欺騙IBM的最大乳腺癌檢測器做出錯誤診斷(*)。這一例子突出說明了此類襲擊對保健等關鍵領域的嚴重影響。
(*) "電腦輔助癌癥診斷一像素攻擊欺騙"
"在轉移攻擊環(huán)境中,重新定位攻擊可以成功地欺騙商業(yè)面部識別服務,并將自動識別系統(tǒng)搜索面API和天藍面部驗證的精確度從91%降至50.1%,從82%降至16.4%" - arXiv:2012.00517v6
單像素攻擊概覽
單像素攻擊通過改變輸入圖像的單個像素來攻擊深度學習模型,導致模型對圖像進行錯誤分類。此攻擊使用微分進化算法來識別最優(yōu)像素進行修改.即使不知道模型的內部參數(shù),這種方法也是有效的。
傳播圖顯示了單個像素的修改如何影響一個深神經網絡。這些映射顯示了更改如何通過網絡的層傳播,以及一個小的本地化更改如何影響最終決策。
這就是為什么單像素攻擊在許多地區(qū)帶來嚴重風險的原因。在醫(yī)學成像中,它們可能導致錯誤的診斷,就像乳腺癌檢測器那樣。例如,在網絡安全方面,它們可以欺騙面部識別系統(tǒng)。
一像素攻擊的機制
正如我們現(xiàn)在所理解的,一個像素攻擊是一種對抗攻擊,它利用深神經網絡的弱點,修改輸入圖像的一個像素,從而導致錯誤分類。
矛盾攻擊
對抗式攻擊涉及對輸入數(shù)據進行小規(guī)模的、有意的更改,以欺騙機器電子學習模型做出錯誤的預測或決定。這可以在許多不同的方式發(fā)生,除了圖像。
例如,在文本數(shù)據中,攻擊者可以改變單詞或字符來欺騙語言模型。在音頻數(shù)據中,它們可以增加細微的噪聲來欺騙語音識別系統(tǒng)。在網絡安全方面,對抗性攻擊可能涉及輕微修改惡意軟件代碼,以繞過防病毒軟件。
同樣,在金融系統(tǒng)中,攻擊者可以操縱市場數(shù)據,欺騙交易算法,使交易變得錯誤。
單像素攻擊
單像素攻擊利用了深神經網絡的復雜決策過程。他們使用微分進化算法來識別最大化錯誤分類概率的像素的最優(yōu)修改。微分進化算法迭代搜索可能的像素修改空間.它使用隨時間演變的候選解決方案群。
單像素攻擊的成功是由于深神經網絡(DNN)對小擾動的敏感性。dnns很容易被人類不會注意到的微小變化所愚弄。微分進化算法的工作原理是生成一組勢解,然后合并和修改這些解來找到最佳候選解。每個候選解決方案代表一個潛在的像素變化,算法評估每個變化對網絡分類結果的影響。通過不斷完善解的群,該算法最終在一個像素變化上收斂,從而導致所需的錯誤分類。
它是如何運作的
執(zhí)行一個像素攻擊通常需要使用微分進化算法,這是一種基于給定質量度量的迭代改進候選解的優(yōu)化方法。以下是對這一過程的詳細說明:
1. Initialization
該算法首先生成一組候選解.在單像素攻擊的上下文中,每個候選者代表了對圖像中單個像素的潛在修改。這些候選人通常在圖像的尺寸和顏色值的范圍內隨機初始化。
2.突變和交叉
對于每個候選解決方案,算法執(zhí)行突變和交叉操作以創(chuàng)建一個新的候選。突變包括從人群中選擇三個不同的候選人,通過在第三個候選人中增加兩個候選人之間的加權差來創(chuàng)建一個新的候選人。然后交叉組合這個變異的候選人和最初的候選人產生一個試驗候選人。該方法在候選群體中產生多樣性,使算法能夠更有效地探索解決方案空間。
3. Selection
根據試驗候選人對神經網絡分類結果的影響進行評價。如果試驗候選人導致模型比原候選人更有效地對圖像進行錯誤分類(或增加目標錯誤分類的可能性),它將取代原候選人中的原候選人。這個選擇過程是由一個適合函數(shù)指導的,在這種情況下,它測量錯誤分類的概率。
4. Iteration
突變、交叉和選擇步驟在幾個迭代中重復進行。隨著每一次迭代,人口的演變和候選人變得越來越有效地導致錯誤分類。這個過程一直持續(xù),直到算法識別出一個變化,導致所需的錯誤分類和高度的信心。
5. Result
最后的結果是,修改后的圖像帶有單一像素的變化,這成功地欺騙了神經網絡做出錯誤的預測。
視覺化和分析
傳播映射提供了一種新的可視化方法,可以觀察單個像素的變化如何影響深神經網絡。這些地圖追蹤像素擾動的影響,因為它通過網絡的分層傳播,從局部化的變化到全局化的變化。這個轉換幫助我們理解單像素攻擊的力量。
當我們檢查傳播映射時,我們可以看到單像素變化在網絡中傳播時的影響是如何增加的。最初,擾動可能看起來微不足道,但當它通過網絡的分層傳播時,它可能導致網絡輸出的實際變化。
位置分析可以更好地理解像素級的攻擊。該分析包括測試與中斷像素相鄰的像素的脆弱性。結果表明,鄰近像素通常具有相似的漏洞,表明攻擊的有效性不限于一個點,但會影響更大的區(qū)域。這樣,攻擊就利用了卷繞層的接收域。這些層中的每個神經元響應輸入圖像的特定區(qū)域,該區(qū)域的變化會顯著影響神經元的輸出。因此,攻擊的成功與這些接收域的結構和功能有關,而不是與單個神經元或像素有關。
變化
有幾種變化可以改進單像素攻擊。
其中一個優(yōu)化包括 DNN網絡形成階段的后門 .這種方法創(chuàng)建了可以稍后開發(fā)的漏洞,使網絡更容易受到單像素攻擊。
另一種變化是使用 關鍵像素迭代算法 識別和鎖定最可能影響網絡性能的像素。這些算法使用許多不同的技術,包括基于梯度的方法和啟發(fā)式的搜索策略,以確定最重要的像素。
視覺化技術 逆境映射和激活映射等也在優(yōu)化單像素攻擊中發(fā)揮著至關重要的作用。
逆境地圖 突出圖像中對干擾最敏感的區(qū)域,鼓勵攻擊者集中精力在這些區(qū)域。 激活圖 展示圖像的不同部分如何激活網絡中的神經元,揭示哪些像素影響最大。
通過將這些可視化工具和優(yōu)化算法結合起來,攻擊者可以設計出更有效的破壞,增加成功攻擊的機會。
所有領域的應用
利用關鍵系統(tǒng)中的漏洞,單像素攻擊在許多領域被證明是有效的。
例如,在醫(yī)學成像領域,這些攻擊可以欺騙用于診斷疾病的人工智能模型,正如我們在上面看到的IBMCODAIT的MAX乳腺癌檢測器,導致錯誤的分類。
在網絡安全領域,一次像素攻擊對面部識別系統(tǒng)構成特別威脅。
面部識別
通過修改一個像素,攻擊者可能會導致這些系統(tǒng)錯誤識別個人,從而損害安全性。
在一個研究(*)中介紹了在面部識別背景下的一次像素攻擊的一個顯著例子,該研究探討了如何將對抗性攝動應用于面部識別模型。當然,目的是盡可能降低他們的性能。
通過修改單個像素,攻擊會導致面部識別系統(tǒng)識別錯誤或無法準確識別個人。這項研究表明?面部識別 技術即使受到小的不利修改也是脆弱的。
(*) ARXIV:1710.08864V7"重構:對面部識別系統(tǒng)的實時對抗式攻擊"
"結果表明,KagleCIFF-10測試數(shù)據集中的自然圖像占67.97%,伊馬內特測試數(shù)據中的自然圖像占16.04%,通過修改一個像素,平均74.03%和22.91%的置信度,至少可以干擾到一個目標類別" - arXiv:1710.08864v7
這種類型的漏洞擴展到依賴圖像識別的其他應用程序,例如自主驅動。在這些系統(tǒng)中,攻擊可能導致車輛誤解路標,導致錯誤甚至危險的駕駛決定。
防御機制
為了降低OPP攻擊的風險,建立了若干防御機制,包括補丁選擇識別器和多初始化CNN。這些方法通過解決深度學習模型在輸入數(shù)據中的微小擾動面前的脆弱性,提高了它們的健壯性。
補丁選擇指示器
一個有效的方法是補丁選擇顯示器,它從圖像的局部補丁中移除潛在的攻擊像素。私營部門司識別并消除具有異常模式的像素,從而減輕攻擊的影響。這種方法特別有效,因為它側重于圖像的小區(qū)域,使攻擊者更難創(chuàng)建成功的破壞。
多初始化卷繞神經網絡(cnns)也顯示出了防御這些攻擊的希望。
這些網絡使用對抗式培訓方法,在這種方法中,對模型進行的培訓既要有透明的例子,也要有對抗式的例子。通過在訓練過程中暴露網絡于潛在的攻擊,模型學會識別和抵抗不利的干擾。這種方法提高了網絡的健壯性,并降低了它對單像素攻擊的脆弱性。
盡管取得了這一進展,許多防御戰(zhàn)略仍然容易受到適應性攻擊的影響。攻擊者不斷改變他們的技術來面對現(xiàn)有的防御。這表明在這一領域進行中的研究和開發(fā)的必要性有多么重要。
多初始化CNN
在另一種方法中,多初始化cnn通過在同一網絡中形成多個不同初始化的實例來提高模型的復原力。
每次初始化都會導致網絡的權重和偏差略有不同的配置。在推理過程中,最終預測是通過聚合這些多個實例的輸出來確定的,例如通過多數(shù)表決或平均法。這種集成方法降低了單個像素擾動系統(tǒng)地誤導網絡中所有實例的可能性。
多重初始化的不同響應提高了模型的整體健壯性,使其對小擾動(如單像素攻擊中引入的擾動)的敏感性降低。
對模型安全性和準確性的影響
因此,單像素攻擊確實會損害缺陷檢測模型的準確性和可靠性,特別是在工業(yè)環(huán)境中。
這些攻擊可能導致錯誤的肯定或否定,導致制造成本增加和利潤減少。例如,制造廠的缺陷檢測系統(tǒng)可能由于像素攻擊而錯誤地將一個有缺陷的產品歸類為"無缺陷",從而導致產品召回和財務損失。
強有力的重要性?人工智能申請中的安全措施 很好理解。對抗式攻擊,如單像素攻擊,使人懷疑人工智能在關鍵應用程序的核心的可靠性。它們不僅損害了它們的有效性,而且也使人們對企業(yè)必須對它們有信心產生懷疑。
結論
單像素攻擊有效性的現(xiàn)實突出了AI開發(fā)中的一個基本張力:模型復雜性和健壯性之間的權衡。
隨著深層次學習模型變得越來越復雜,它們也會對微妙的干擾變得越來越敏感。這種悖論要求重新評估我們對AI設計的方法,可能更傾向于在關鍵應用程序中使用更簡單、更可解釋的模型。它還強調需要一個完整的人工智能安全方法,該方法超越簡單的模型體系結構,包括數(shù)據完整性、系統(tǒng)設計和操作保障。
由于人工智能已經成為我們日常生活的一部分,我們必須確保它在面對這種攻擊時的復原力。它似乎不僅成為技術挑戰(zhàn),而且也成為社會當務之急。
下載文檔
