人工智能自身會面臨著哪些方面的安全風險

（文章來源：千家網(wǎng)）

訓(xùn)練數(shù)據(jù)污染可導(dǎo)致人工智能決策錯誤。數(shù)據(jù)投毒通過在訓(xùn)練數(shù)據(jù)里加入偽裝數(shù)據(jù)、惡意樣本等破壞數(shù)據(jù)的完整性，進而導(dǎo)致訓(xùn)練的算法模型決策出現(xiàn)偏差。

數(shù)據(jù)投毒主要有兩種攻擊方式：一種是采用模型偏斜方式，主要攻擊目標是訓(xùn)練數(shù)據(jù)樣本，通過污染訓(xùn)練數(shù)據(jù)達到改變分類器分類邊界的目的。例如，模型偏斜污染訓(xùn)練數(shù)據(jù)可欺騙分類器將特定的惡意二進制文件標記為良性。

另外一種是采用反饋誤導(dǎo)方式，主要攻擊目標是人工智能的學(xué)習模型本身，利用模型的用戶反饋機制發(fā)起攻擊，直接向模型“注入”偽裝的數(shù)據(jù)或信息，誤導(dǎo)人工智能做出錯誤判斷。隨著人工智能與實體經(jīng)濟深度融合，醫(yī)療、交通、金融等行業(yè)訓(xùn)練數(shù)據(jù)集建設(shè)需求迫切，這就為惡意、偽造數(shù)據(jù)的注入提供了機會，使得從訓(xùn)練樣本環(huán)節(jié)發(fā)動網(wǎng)絡(luò)攻擊成為最直接有效的方法，潛在危害巨大。在自動駕駛領(lǐng)域，數(shù)據(jù)投毒可導(dǎo)致車輛違反交通規(guī)則甚至造成交通事故；在軍事領(lǐng)域，通過信息偽裝的方式可誘導(dǎo)自主性武器啟動或攻擊，從而帶來毀滅性風險。

運行階段的數(shù)據(jù)異?？蓪?dǎo)致智能系統(tǒng)運行錯誤。一是人為構(gòu)造對抗樣本攻擊，導(dǎo)致智能系統(tǒng)產(chǎn)生錯誤的決策結(jié)果。人工智能算法模型主要反映了數(shù)據(jù)關(guān)聯(lián)性和特征統(tǒng)計，而沒有真正獲取數(shù)據(jù)因果關(guān)系。針對算法模型這一缺陷，對抗樣本通過對數(shù)據(jù)輸入樣例添加難以察覺的擾動，使算法模型以高置信度給出一個錯誤的輸出。對抗樣本攻擊可實現(xiàn)逃避檢測，例如在生物特征識別應(yīng)用場景中，對抗樣本攻擊可欺騙基于人工智能技術(shù)的身份鑒別、活體檢測系統(tǒng)。

2019年4月，比利時魯汶大學(xué)研究人員發(fā)現(xiàn)，借助一張設(shè)計的打印圖案就可以避開人工智能視頻監(jiān)控系統(tǒng)。二是動態(tài)環(huán)境的非常規(guī)輸入可導(dǎo)致智能系統(tǒng)運行錯誤。人工智能決策嚴重依賴訓(xùn)練數(shù)據(jù)特征分布性和完備性，人工標記數(shù)據(jù)覆蓋不全、訓(xùn)練數(shù)據(jù)與測試數(shù)據(jù)同質(zhì)化等塬因常常導(dǎo)致人工智能算法泛化能力差，智能系統(tǒng)在動態(tài)環(huán)境實際使用中決策可能出現(xiàn)錯誤。特斯拉汽車自動駕駛系統(tǒng)曾因無法識別藍天背景下的白色貨車，致使發(fā)生致命交通事故。

模型竊取攻擊可對算法模型的數(shù)據(jù)進行逆向還塬。人工智能算法模型的訓(xùn)練過程依托訓(xùn)練數(shù)據(jù)，并且在運行過程中會進一步采集數(shù)據(jù)進行模型優(yōu)化，相關(guān)數(shù)據(jù)可能涉及到隱私或敏感信息，所以算法模型的機密性非常重要。但是，算法模型在部署應(yīng)用中需要將公共訪問接口發(fā)布給用戶使用，攻擊者可通過公共訪問接口對算法模型進行黑盒訪問，依據(jù)輸入信息和輸出信息映射關(guān)系，在沒有算法模型任何先驗知識（訓(xùn)練數(shù)據(jù)、模型參數(shù)等）情況下，構(gòu)造出與目標模型相似度非常高的模型，實現(xiàn)對算法模型的竊取，進而還塬出模型訓(xùn)練和運行過程中的數(shù)據(jù)以及相關(guān)隱私信息。

新加坡國立大學(xué)RezaShokri等針對機器學(xué)習模型的隱私泄露問題，提出了一種成員推理攻擊，在對模型參數(shù)和結(jié)構(gòu)知之甚少的情況下，可以推斷某一樣本是否在模型的訓(xùn)練數(shù)據(jù)集中。

人工智能開源學(xué)習框架實現(xiàn)了基礎(chǔ)算法的模塊化封裝，可以讓應(yīng)用開發(fā)人員無需關(guān)注底層實現(xiàn)細節(jié)，大大提高了人工智能應(yīng)用的開發(fā)效率。谷歌、微軟、亞馬遜、臉書等企業(yè)都發(fā)布了自己的人工智能學(xué)習框架，在全球得到廣泛應(yīng)用。但是，人工智能開源學(xué)習框架集成了大量的第叁方軟件包和依賴庫資源，相關(guān)組件缺乏嚴格的測試管理和安全認證，存在未知安全漏洞。近年來，360、騰訊等企業(yè)安全團隊曾多次發(fā)現(xiàn)TensorFlow、Caffe、Torch等深度學(xué)習框架及其依賴庫的安全漏洞，攻擊者可利用相關(guān)漏洞篡改或竊取人工智能系統(tǒng)數(shù)據(jù)。