人工智能如何走向卓越與信任的歐洲

2020年2月19日，歐盟委員會發(fā)布了人工智能白皮書《走向卓越與信任——歐盟人工智能監(jiān)管新路徑》（On Artificial Intelligence - A European approach to excellence and trust），旨在打造以人為本的可信賴和安全的人工智能，確保歐洲成為數(shù)字化轉(zhuǎn)型的全球領導者。 報告主要分為六大部分，首先概述了人工智能，進而闡述了需要利用工業(yè)和專業(yè)優(yōu)勢，抓住下一波數(shù)據(jù)浪潮機遇。其次重點圍繞“卓越生態(tài)系統(tǒng)”與“信任生態(tài)系統(tǒng)”兩方面展開，著重建構了可信賴與安全的人工智能監(jiān)管框架。最后，還發(fā)布了《關于人工智能、物聯(lián)網(wǎng)和機器人對安全和責任的影響的報告》和《歐洲數(shù)字戰(zhàn)略》兩份附件。本文著重介紹“卓越生態(tài)系統(tǒng)”與“信任生態(tài)系統(tǒng)”以及歐盟未來可信賴與安全的人工智能監(jiān)管路徑。

鑒于人工智能 的飛速發(fā)展，歐洲可以將技術、產(chǎn)業(yè)優(yōu)勢和基于基本價值觀的監(jiān)管框架相結合，打造一整套人工智能生態(tài)系統(tǒng)，從而為歐洲社會和經(jīng)濟帶來技術福祉。其中關鍵在于，人工智能必須以歐洲價值觀和包括人類尊嚴、隱私保護等在內(nèi)的基本權利為基礎。

歐洲擁有眾多研究中心、創(chuàng)新型企業(yè)。在機器人、制造業(yè)、服務業(yè)等領域居于領先地位。歐盟可通過強化下一代技術、數(shù)字基礎設施以及數(shù)字能力的投資，增強歐洲在關鍵技術和基礎設施方面的技術主權，創(chuàng)建歐洲數(shù)據(jù)池，以打造可信人工智能。

一、“卓越生態(tài)系統(tǒng)”（ecosystemof excellence）

1.與成員國合作

歐盟委員會將根據(jù)白皮書的公眾咨詢結果，向成員國建議修訂2018年4月通過的人工智能戰(zhàn)略，和12月提出的約70項聯(lián)合行動的協(xié)同計劃。

2. 聚焦研究投入和創(chuàng)新社群

歐洲需要一個集聚研究、創(chuàng)新和專業(yè)知識的“燈塔型”中心，借此吸引最優(yōu)秀的人才。因此將建立私營主體和監(jiān)管機構合作的卓越和測試中心（excellenceand testing centres），創(chuàng)建從研究到創(chuàng)新的一整套價值鏈的卓越生態(tài)系統(tǒng)。同時專項撥款，用于支持數(shù)字歐洲計劃下設在歐洲的世界參考測試中心（world reference tesTIng centres），并且根據(jù)實際情況，作為2021至2027年多年期財務框架（MFF）的一部分納入歐洲地平線（Horizon Europe）的研究和創(chuàng)新計劃。

3. 能力方面

借助頂尖高等學府組成的“數(shù)字歐洲計劃”網(wǎng)絡，以吸引最優(yōu)秀的教授和科學家，并提供全球領先的人工智能課程。

4.聚焦中小企業(yè)

歐洲投資基金將在2020年第一季度啟動1億歐元的試點計劃，為人工智能的創(chuàng)新提供股權融資。歐盟委員會計劃從2021年起通過“投資歐洲”（InvestEU）項目，大范圍擴展多年期財務框架的規(guī)模。

5. 與私營機構建立伙伴關系

在歐洲地平線計劃的背景下，歐盟委員會將在人工智能、數(shù)據(jù)和機器人技術方面開展新的公私合作伙伴關系。

6. 推動公共部門采購人工智能

在公共行政、醫(yī)院、交通服務、金融監(jiān)管機構等公共部門迅速部署人工智能產(chǎn)品和服務。

7.數(shù)據(jù)和計算基礎設施訪問

歐盟委員會已經(jīng)提出40多億歐元的“數(shù)字歐洲計劃”，以支持高性能計算和量子計算，包括邊緣計算和人工智能、數(shù)據(jù)和云基礎設施等。歐洲數(shù)據(jù)戰(zhàn)略進一步闡釋了該優(yōu)先事項，認為負責任的數(shù)據(jù)管理實踐將有助于建立信任，確保數(shù)據(jù)的可重用性。

8. 國際方面

歐盟將密切關注其他國家限制數(shù)據(jù)流動的政策，并將在雙邊貿(mào)易談判中通過世界貿(mào)易組織范圍內(nèi)的行動解決相關不適當?shù)南拗?。歐盟確信，人工智能國際合作必須建立在尊重基本權利的基礎上，包括人的尊嚴、多元化、包容性、非歧視、保護隱私和個人數(shù)據(jù)。值得注意的是，發(fā)展負責任的人工智能也可以積極推動2030年可持續(xù)發(fā)展議程。

二、“信任生態(tài)系統(tǒng)”（ecosystem of trust）：人工智能監(jiān)管框架

在人工智能決策過程中，面對突顯的人機能力不對稱和系統(tǒng)信息不透明等問題，歐洲公民日益漸感自身權利的維護蒼白無力。此種缺乏堅實的信任基礎是阻礙人工智能進一步發(fā)展的核心困境。因此，構建可信賴與安全的人工智能監(jiān)管框架就成為創(chuàng)建“信任生態(tài)系統(tǒng)”的當務之急。

（ 一 ） 潛在風險問題

1.基本權利面臨風險，尤其是個人數(shù)據(jù)隱私保護?，F(xiàn)實社會中的運作機制將會全方位影響人工智能，人為產(chǎn)生新的偏見與歧視。此種偏見和歧視不來自于設計階段，而是依托于現(xiàn)實社會而逐漸浮現(xiàn)。人工智能固有的算法黑箱、復雜性、不可預測性和部分自主性行為等，恐產(chǎn)生些許回溯和去匿名化個人數(shù)據(jù)的風險。

2.安全責任制度的有效運轉(zhuǎn)。嵌入到產(chǎn)品服務中的技術會引發(fā)安全風險。例如由于識別技術缺陷，致使自動駕駛汽車錯誤識別了道路上的障礙物，造成相應的人身傷害和物質(zhì)損失。而目前缺乏應對該風險的明確安全條款，此種法律不確定性會使得執(zhí)法機構面臨困境，即在未被明確授權下是否可以執(zhí)法干預。

（二）當前歐盟人工智能立法的主要問題

一是歐盟和國家立法難以有效適用和執(zhí)行。人工智能系統(tǒng)運作乏透明度會增加違法行為的識別難度和舉證困難，包括基本權利保護的范圍、違法歸責的認定和法定索賠要件的滿足等內(nèi)容。

二是既有法律規(guī)范的適用范圍受限。在相關歐盟產(chǎn)品安全立法中，當軟件作為最終產(chǎn)品的組成部分時，必須遵守產(chǎn)品安全規(guī)則。但獨立軟件是否受歐盟產(chǎn)品安全法律規(guī)制實屬未解之難題。目前相關立法的規(guī)范客體僅限于產(chǎn)品而非服務，所以原則上也不得適用于人工智能服務，例如醫(yī)療服務、金融服務和運輸服務等。

三是功能更新后的責任立法存在空白。在人工智能系統(tǒng)的漫長服務周期內(nèi)，需要不斷更新軟件、硬件和算法，尤其對需大數(shù)據(jù)頻繁喂養(yǎng)的機器學習來說更是如此。即使技術嵌入產(chǎn)品之際不存在缺陷，但事后更新會產(chǎn)生新的風險隱患。遺憾的是，既有產(chǎn)品安全法律只規(guī)制上市時存在風險的產(chǎn)品，致使現(xiàn)行立法一定范圍內(nèi)失靈，無法及時規(guī)制問題產(chǎn)品。

四是產(chǎn)品供應鏈中不同運營者之間的責任分配不明確。一般來說，歐盟產(chǎn)品安全立法將責任劃分給產(chǎn)品生產(chǎn)商，包括所有組件的生產(chǎn)者。但若人工智能產(chǎn)品安全事件是由生產(chǎn)者之外的第三方引起的，則需降低不同運營者之間法律責任分配的不確定性。

五是舊有安全思維亟需轉(zhuǎn)換。人工智能恐引發(fā)立法目前沒有明確的諸多風險。例如源自于網(wǎng)絡威脅、個人安全隱患和失去連接而導致的風險等。此類風險可能是設計之初留存的，也可能是事后軟件升級造成的，亦或深度學習自我進化產(chǎn)生的。歐盟應秉持新的安全觀念，轉(zhuǎn)換舊有思維，充分借鑒包括網(wǎng)絡與信息安全局（ENISA）在內(nèi)的各種機構的執(zhí)法經(jīng)驗，以評估人工智能潛在的安全風險。

三、構建可信賴與安全的人工智能監(jiān)管框架

未來人工智能監(jiān)管框架應當以“風險進路”為核心，在達成既定目標的同時避免不成比例的企業(yè)負擔。因此要從高風險的人工智能應用與非高風險的人工智能應用兩大方面予以類型化監(jiān)管。

人工智能應用的高風險應滿足：第一，在某一可能會發(fā)生重大風險的領域，在該領域中的人工智能應用應被認為是高風險的。例如醫(yī)療保健、運輸、能源和部分公共領域。第二，只有在相關領域不當?shù)乩貌⑶耶a(chǎn)生了重大風險，該人工智能才會被認為是高風險的。例如，醫(yī)療保健是人工智能應用的高風險領域，但醫(yī)院預約系統(tǒng)的缺陷通常不會造成重大風險引起立法干預。

為了有效應對各種高風險的人工智能應用，應當考慮如下幾項需求。

1.訓練數(shù)據(jù)需安全度高、無歧視和保護隱私

安全度高：確保人工智能系統(tǒng)的訓練數(shù)據(jù)在產(chǎn)品或服務的后續(xù)使用中持續(xù)安全。例如人工智能系統(tǒng)在足夠廣泛的數(shù)據(jù)集上進行訓練，涵蓋所有可能的應用場景，包括突發(fā)狀態(tài)下危險情形的避免等內(nèi)容。

無歧視：采取合理措施確保人工智能不生成歧視結果。例如廣泛采用具備足夠代表性的數(shù)據(jù)集，確保不同性別、種族和膚色等可能引發(fā)歧視的要素被涵蓋其中。

保護個人隱私：在人工智能產(chǎn)品和服務使用期間，切實遵守GDPR要求的個人數(shù)據(jù)和隱私保護。

2. 留存人工智能訓練相關的數(shù)據(jù)集與測試文件

準確記錄數(shù)據(jù)集和測試：鑒于人工智能系統(tǒng)的復雜性、內(nèi)部運行的不透明以及難以快速驗證是否合規(guī)等情況，要確保留存與算法、編程有關的測試記錄。準確記錄特定情形下高風險人工智能應用測試的數(shù)據(jù)集，詳細描述數(shù)據(jù)集的主要特征和選擇方式。

留存資料文件：留存有關建立、測試和驗證人工智能系統(tǒng)的訓練方法、使用流程和相關技術的資料文件，包括預先制定的安全措施和避免歧視偏見的應對方案等。

3. 應用高風險人工智能時提供必要信息

系統(tǒng)信息：為了提升人機信任，打造負責任的可信AI，需要人工智能系統(tǒng)及時、主動提供關于高風險人工智能應用的必要信息。例如系統(tǒng)積極提供自身的應用范圍、能力水平和設計局限，特別是涉及到系統(tǒng)的預設目的、預計發(fā)揮效用以及相應的準確程度等。

明確通知：當個人在與人工智能系統(tǒng)而非與人交互時應履行通知說明義務。系統(tǒng)可以根據(jù)不同場景提供客觀、簡明且易于理解的準確信息。

4. 人工智能系統(tǒng)應穩(wěn)定地、準確地運行

穩(wěn)定準確：必須確保人工智能系統(tǒng)在整個產(chǎn)品或服務的生命周期中，技術成熟穩(wěn)定，準確反映出相應的運行水平。

可再現(xiàn)：確保人工智能系統(tǒng)生成的結果事后可再現(xiàn)、可復盤。

抵御能力：在整個技術生命周期內(nèi)，人工智能需要有一定能力自行處理系統(tǒng)錯誤或下達的前后矛盾的指令。同時當面對外部公然入侵的嚴峻態(tài)勢，或者精妙地操縱數(shù)據(jù)或算法的隱蔽情形，人工智能要具備一定程度的堅韌的抵御能力，采取暫時性措施阻擋既有侵害。

5. 人為監(jiān)督

人為監(jiān)督有助于確保人工智能系統(tǒng)不會侵蝕人類的自主性。只有確保人工適當參與到人工智能高風險應用當中，才能實現(xiàn)可信賴、合倫理和以人為核心的人工智能目標。人為監(jiān)督人工智能系統(tǒng)可以采用如下形式。

其一，只有事前人為監(jiān)督且批準后，人工智能系統(tǒng)輸出的結果才能生效。例如拒絕社會福利保障的申請這種關乎到弱勢群體切身利益的事項，只能人為操作。

其二，人工智能系統(tǒng)結果輸出立即生效，但事后需人工審查。譬如人工智能系統(tǒng)可自行拒絕信用卡的申請，但稍后必須進行人工復查。

其三，人工智能系統(tǒng)運行時隨時監(jiān)控，遇到突發(fā)事件及時干預。例如自動駕駛中駕駛員突覺操作系統(tǒng)不太安全，可當即使用停止按鈕。

其四，在早期設計階段，預先對人工智能系統(tǒng)附加操作限制。比如當室外能見度較低時，一旦無人駕駛汽車的傳感器不再靈敏或需保持安全車距，則駕駛系統(tǒng)自動停止。

6. 遠程識別生物特征數(shù)據(jù)后收集和使用

目前，歐盟多國已經(jīng)廣泛在公共場所與商業(yè)場景中應用人臉識別系統(tǒng)，通過遠程識別人臉，對公民的生物特征數(shù)據(jù)進行收集和使用。為了解決在公共場所大范圍使用人工智能引發(fā)的社會擔憂，并且防止歐洲單一數(shù)字經(jīng)濟市場碎片化，歐盟委員會將發(fā)起一場廣泛的公共辯論，討論此種情形下可能的合理的使用情形，以及采取何種措施確保相關行為合乎比例原則和必要原則。

7. 開展事前一致性評估

針對高風險人工智能應用的事前一致性評估，需要納入未來的人工智能監(jiān)管框架機制中。而該一致性評估機制需考量如下因素。

第一，謹記并非所有事項都可事先進行一致性評估。比如，應用高風險人工智能時提供必要信息這一場景，就無法先前開展評估驗證。

第二，考慮到部分人工智能系統(tǒng)會不斷進化和深度學習。這將有必要反復地、定期地評估人工智能系統(tǒng)的生命周期、運轉(zhuǎn)狀態(tài)。

第三，針對訓練數(shù)據(jù)，以及用于測試人工智能系統(tǒng)的訓練方法、使用流程和相關技術的資料文件，要客觀地、專業(yè)地開展一致性驗證與核實工作。

第四，所有市場運營者均需強制進行一致性評估。為了減小中小企業(yè)的負擔，可以創(chuàng)建類似數(shù)字創(chuàng)新中心等機構。