安全部署LLMS與OWAS需要注意的10個(gè)要點(diǎn)

生成人工智能的采用正在加快步伐。僅僅10個(gè)月前相比,執(zhí)行率翻了一番,65%的受訪者說(shuō)他們的公司經(jīng)常使用AI。對(duì)現(xiàn)有企業(yè)產(chǎn)生破壞性影響的承諾--或以新的和更有利可圖的方式向市場(chǎng)提供服務(wù)--正在推動(dòng)這方面的許多興趣。然而,許多采用者還沒有意識(shí)到眼前的安全風(fēng)險(xiǎn)。

為了向軟件開發(fā)人員和安全架構(gòu)師提供實(shí)際操作指導(dǎo),OWASP前10指南列出了安全實(shí)施依賴LLMS的GEI應(yīng)用程序的最佳做法。通過(guò)明確指出迄今為止在LLMS中看到的最關(guān)鍵的弱點(diǎn),預(yù)防成為一項(xiàng)簡(jiǎn)單的任務(wù)。

然而,圍繞安全AI開發(fā)的最大挑戰(zhàn)不僅僅是知道可能存在問(wèn)題--在任何大型軟件部署中都是如此。相反,它涉及的是如何幫助彌合跨功能團(tuán)隊(duì)中存在的跨越開發(fā)、安全和業(yè)務(wù)團(tuán)隊(duì)的差距。使用owasp前10名,開發(fā)人員和安全專業(yè)人員可以協(xié)作繪制出他們?cè)谡麄€(gè)AI應(yīng)用程序中的職責(zé),然后與業(yè)務(wù)團(tuán)隊(duì)一致,說(shuō)明這些控件的重要性。

從技術(shù)安全角度來(lái)看,Cisos也可以更好地了解與AI應(yīng)用程序相關(guān)的潛在業(yè)務(wù)風(fēng)險(xiǎn)以及對(duì)其基礎(chǔ)設(shè)施的攻擊。這些攻擊有的是利用"傳統(tǒng)"軟件缺陷,而這些缺陷必須加以補(bǔ)救,有的則是劫持和濫用LLS服務(wù)帳戶,這可能使組織每天損失數(shù)萬(wàn)美元。對(duì)于CISO,當(dāng)如此多的眼睛注視著這些潛在的變革項(xiàng)目時(shí),向董事會(huì)和企業(yè)解釋風(fēng)險(xiǎn)是至關(guān)重要的。實(shí)際上,交付的壓力很大,風(fēng)險(xiǎn)越來(lái)越大;從一開始就應(yīng)涉及安全問(wèn)題。

今天面臨風(fēng)險(xiǎn)的10強(qiáng)是什么?

1. 即時(shí)注射: 攻擊者如何操縱LLM來(lái)執(zhí)行影響輸出安全性的意外或危險(xiǎn)行為

2. 不安全輸出處理: 類似于更傳統(tǒng)的安全故障,如跨站點(diǎn)腳本(XSS)、跨站點(diǎn)請(qǐng)求偽造(csrf)和代碼執(zhí)行,這些故障發(fā)生在LLS對(duì)后端系統(tǒng)沒有適當(dāng)?shù)陌踩詴r(shí)

3. 培訓(xùn)數(shù)據(jù)中毒: 當(dāng)用于培訓(xùn)LLM的數(shù)據(jù)集包括可利用的漏洞時(shí)

4. 拒絕服務(wù)的模式: 當(dāng)攻擊者采取的行動(dòng)是資源密集型的,導(dǎo)致業(yè)績(jī)不佳或?qū)κ芎φ呓M織造成重大損失時(shí)

5. 供應(yīng)鏈脆弱性: 在更傳統(tǒng)的軟件組件或服務(wù)中出現(xiàn)并可在攻擊中加以利用的脆弱性;LLS應(yīng)用程序越復(fù)雜,它越有可能隨著時(shí)間的推移而修復(fù)弱點(diǎn)

6. 敏感信息披露: 法律管理人可能披露不應(yīng)公開的信息的事件;為防止這種情況,確保在使用培訓(xùn)和生產(chǎn)數(shù)據(jù)之前對(duì)其進(jìn)行消毒

7. 不安全插件設(shè)計(jì): 可能的問(wèn)題是插件不能保護(hù)LLM不受未經(jīng)授權(quán)的訪問(wèn)或不安全的輸入的影響,這可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行等問(wèn)題

8. 過(guò)多的代理: 當(dāng)LML可以執(zhí)行更多的操作或擁有更多的權(quán)限時(shí),它就會(huì)執(zhí)行不允許執(zhí)行的任務(wù)

9. 過(guò)度依賴: 如果使用者依靠法律信息管理,而沒有對(duì)內(nèi)容進(jìn)行適當(dāng)檢查;這可能導(dǎo)致幻覺、潛在的錯(cuò)誤信息,甚至法律問(wèn)題

10. 模型盜竊: 當(dāng)攻擊者訪問(wèn)、復(fù)制或竊取專有LOM模型時(shí)

為了執(zhí)行適當(dāng)?shù)陌踩胧?為執(zhí)行熱奈應(yīng)用程序,開發(fā)人員應(yīng)該與安全團(tuán)隊(duì)接觸,并進(jìn)行威脅模型演習(xí),以更好地了解所涉及的潛在風(fēng)險(xiǎn)。

增加AI的安全性

要部署GEAI,開發(fā)人員有兩個(gè)選擇:他們可以采用一個(gè)服務(wù)來(lái)填補(bǔ)他們應(yīng)用程序中的空白,或者他們可以選擇特定的組件并構(gòu)建一個(gè)完整的AI管道。對(duì)于那些希望使用自己的數(shù)據(jù)來(lái)通知自己的AI應(yīng)用程序的企業(yè)來(lái)說(shuō),運(yùn)行一堆人工智能組件,使它們能夠更容易地個(gè)性化他們的應(yīng)用程序?qū)⑹且粋€(gè)優(yōu)勢(shì)。這些組件通常是云型的,在集裝箱化體系結(jié)構(gòu)上運(yùn)行,因?yàn)樗鼈兛赡苄枰罅康挠?jì)算實(shí)例和存儲(chǔ)來(lái)操作。

通常情況下,AI部署使用像庫(kù)伯內(nèi)特斯這樣的協(xié)調(diào)工具來(lái)有效地管理工作負(fù)載。庫(kù)伯內(nèi)特斯使得部署和擴(kuò)展杰奈變得更容易,但它也帶來(lái)了組織必須考慮的更復(fù)雜的安全風(fēng)險(xiǎn)。在云平臺(tái)上運(yùn)行的集裝箱化AI模型與傳統(tǒng)的現(xiàn)場(chǎng)部署甚至其他云化的集裝箱化環(huán)境有著非常不同的安全問(wèn)題。由于管道中涉及如此多的移動(dòng)部件,而且這些元素中的許多相對(duì)較新且發(fā)展較快,從一開始就有正確的安全洞察力是至關(guān)重要的。

安全團(tuán)隊(duì)的第一步是了解每個(gè)AI應(yīng)用程序中包含哪些組件，同時(shí)覆蓋數(shù)據(jù)、應(yīng)用程序組件和基礎(chǔ)設(shè)施。這應(yīng)該是他們整體IT資產(chǎn)庫(kù)存的一部分，這樣他們就可以將任何現(xiàn)有的AI服務(wù)、工具和所有者分類在一個(gè)地方，并保持最新的記錄。這種方法也可以用于為其人工智能系統(tǒng)創(chuàng)建一個(gè)軟件材料清單(SBOM)，其中包括所有相關(guān)的組件。一個(gè)AISbom生成了一個(gè)完整的清單,列出了所有的軟件組件、依賴項(xiàng)和元數(shù)據(jù),這些都與一個(gè)GEAI工作負(fù)載相關(guān),然后他們可以跟蹤這個(gè)列表來(lái)跟蹤隨著時(shí)間的推移而需要的任何更改?；谌斯ぶ悄軘?shù)據(jù)源所包含的數(shù)據(jù)的敏感性,他們也可以對(duì)其人工智能數(shù)據(jù)源采用同樣的方法。對(duì)于一般數(shù)據(jù)--比如產(chǎn)品目錄、網(wǎng)站頁(yè)面或標(biāo)準(zhǔn)支持材料--信息可以被評(píng)為公共信息,并被任何人使用。對(duì)于包括知識(shí)產(chǎn)權(quán)、個(gè)人可識(shí)別信息(PII)或其他必須保持安全的更敏感數(shù)據(jù),它們可以分配不同級(jí)別的安全訪問(wèn)。這將有助于團(tuán)隊(duì)根據(jù)其風(fēng)險(xiǎn)嚴(yán)重程度以及這些工作負(fù)載可能使用的數(shù)據(jù),對(duì)其AI工作量的安全性進(jìn)行優(yōu)先排序。

態(tài)勢(shì)管理

雖然實(shí)現(xiàn)人工智能的安全性至關(guān)重要,但為了遵守和報(bào)告,也必須有實(shí)施的證據(jù)。確保系統(tǒng)符合OWASP前10是應(yīng)該定期確認(rèn)的事情,這樣部署就可以在一段時(shí)間內(nèi)保持安全。這包括定期審計(jì)概述的技術(shù)各個(gè)方面,并檢查是否遵循了共同的安全任務(wù),但也涉及業(yè)務(wù)流程和工作流方面。

安全和開發(fā)團(tuán)隊(duì)可以通過(guò)將其組織的LLM安全戰(zhàn)略與人工智能系統(tǒng)的對(duì)抗性威脅環(huán)境相結(jié)合來(lái)實(shí)現(xiàn)這一點(diǎn)框架。這將有助于團(tuán)隊(duì)從其他應(yīng)用程序和軟件安全需求(如API周圍的需求)以及可能存在的其他安全漏洞的上下文中查看它們的熱奈安全性。雖然LLMS的OWASP前10提供了在哪些地方加強(qiáng)熱奈應(yīng)用程序和LLM系統(tǒng)抵御攻擊的指導(dǎo),但是米特爾阿特拉斯可以用來(lái)理解攻擊者在他們的偵察或攻擊過(guò)程中可能創(chuàng)建的標(biāo)志。通過(guò)尋找威脅行為者的策略、技術(shù)和程序的證據(jù),組織可以更積極主動(dòng)地采取行動(dòng)。

硬化系統(tǒng)涉及提前思考

像熱奈這樣的新系統(tǒng)需要新的安全模型和關(guān)于如何在攻擊者面前保持領(lǐng)先的新思維。然而,在急于實(shí)現(xiàn)這些新應(yīng)用程序所設(shè)定的業(yè)務(wù)目標(biāo)時(shí),很容易忽略安全應(yīng)該發(fā)揮的作用。

像OWASP的LLMS前10這樣的框架幫助每個(gè)人了解存在的潛在風(fēng)險(xiǎn),并將這些準(zhǔn)則應(yīng)用于特定的應(yīng)用。然而,AI的工作負(fù)載并不是單獨(dú)運(yùn)行的--它們可能存在于由Kubernets精心設(shè)計(jì)并在云上運(yùn)行的軟件容器中。庫(kù)伯內(nèi)特斯面臨著類似于熱奈的問(wèn)題,因?yàn)樗匀皇且环N非常新的技術(shù),而且整個(gè)行業(yè)的安全最佳做法還不完善。對(duì)這些平臺(tái)中的每個(gè)平臺(tái)使用OWASP的指導(dǎo)可以更容易地建模潛在的威脅并保護(hù)所涉及的每一層基礎(chǔ)設(shè)施。

清晰和可審計(jì)的安全性流程可以改進(jìn)合規(guī)性報(bào)告、減少威脅和圍繞應(yīng)用程序更新的工作流程。它們還改進(jìn)了部署應(yīng)用程序的更廣泛方法,確保云安全控制、流程和程序減少了對(duì)不斷變化的威脅的潛在暴露。