歐盟人工智慧規章草案之初探

王煜翔 分析師

壹、前言

2020年2月歐盟執委會提出「AI政策白皮書」（White Paper on Artificial Intelligence）揭示歐盟對AI管理政策之主要發展方向，歐盟將以建立AI卓越生態圈（Ecosystem of Excellence）及AI信任生態圈（Ecosystem of Trust）作為下一階段工作目標，並提出以風險分級作為未來立法管制的方法[1]。在建立可信任AI領域，去（2021）年4月21日歐盟執委會（European Commission）提出「人工智慧法律調和規章草案」（Proposal for a Regulation Laying Down Harmonised Rules on Artificial Intelligence，以下稱「歐盟AI規章草案」），草案將AI系統依使用之目的進行風險分級，並賦予相對應之規範義務，如：透明化、查核、第三方驗證、後市場監督等[2]。

依據目前版本的規章草案，其規範對象相當廣泛，除了進入歐盟市場之AI系統外，當位於其他國家的AI系統使用之結果發生地位於歐盟時，亦會落入該法之規範對象。值得注意的是，由於規章（Regulation）對於各歐盟會員國具有直接適用性，後續即便當會員國對相關議題進行國內立法時，仍須遵照規章的框架為之，因此，可預期未來該規章之施行將對全球AI服務供應造成影響。

目前歐盟執委會提出的AI規章草案已交付歐洲議會、歐盟理事會分別審議，但尚未完成一讀程序，但歐洲議會該案之主責委員會及歐盟理事會已個別對於該草案表達其立場。去年11月，歐洲理事會對於該草案提出部分條文之協商文件（compromise text）[3]。而於今（2022）年4月20日，歐洲議會聯合負責該草案之共同市場與消費者保護委員會（Committee on the Internal Market and Consumer Protection, IMCO）及公民自由、司法暨內政委員會（Committee on Civil Liberties, Justice and Home Affairs，LIBE）提出了AI規章草案之修正報告（draft report）[4]。

按照目前歐盟執委會所規劃之立法期程，預估AI規章草案將於今年下半年通過，經過兩年之法規過渡期，預計於2024年下半年全面適用[5]。該法規過渡期間是否會修改（或延長），仍需持續追蹤。另一方面，對於該規章之規範是否溯及既往，依據目前草案第83條規範，該法於未來施行時，將不會影響在全面適用日期以前已進入歐盟市場或已提供服務之AI系統，但若是目前已提供服務之AI系統在法規施行日後進行重要的更新或改寫，則仍落入AI規章之適用範圍。

本文重點說明歐盟AI規章草案之核心規範，分析當前草案所涵蓋之適用範圍，以及相關立法發展對有意將AI應用導入歐盟市場外國業者可能產生之影響；同時，本文進一步檢視風險分級、風險管理義務、符合性評鑑以及後市場監督等核心規範，分析歐盟AI規章草案所採取以風險為基礎之規範方法，並研析其對我國AI產業影響與政策意涵。

貳、AI定義與適用範圍

歐盟AI規章草案為歐盟法規首次嘗試給予AI定義。過去由於該技術之複雜性以及其快速的發展，無論在學術界或實務界皆未有統一之定義。然於該AI規章草案中，執委會將AI系統賦予廣泛之定義。依據該定義，使用一種或多種規章附件一所列之機器學習、邏輯或知識方法，及統計學方法等技術開發之軟體，而該軟體可依人類定義之目標產出包括內容、預測、建議，或決定，影響與之互動的環境，此類軟體即屬於該規章所定義之AI[6]。

依據2021年執委會提出之AI規章草案第2條之規範，該法規之適用對象為三類，包括：（1）於歐盟市場提供AI系統或服務的供應商（providers），無論其是否設立（established）於歐盟境內；（2）位於歐盟境內的AI使用者；（3）位於第三國，但其使用AI系統的產出被用於歐盟境內的供應商或使用者。於草案之定義中，供應商係指開發AI系統或預期將AI系統以自己的名稱或商標，有償或無償投入市場的自然人、法人、公共機關、代理或其他機構，因此可知該規章在適用上應相當廣泛[7]。依據前述適用範圍之規定，歐盟境外業者對歐盟境內用戶提供的服務時，所運用到的人工智慧系統即受本法所管轄。

歐洲議會IMCO委員會在2022年4月提出之修正報告，進一步擴大了歐盟AI規章之適用範圍。即便服務提供者與用戶都在歐盟境外，但AI系統產出直接影響歐盟內部之自然人，AI系統或服務之營運商（operator）仍受到歐盟AI規章之管轄[8]。舉例來說，我國Ａ銀行使用我國B軟體業者開發之AI簡歷篩選系統，Ａ銀行在歐盟招募人才時使用該項AI簡歷篩選系統，在此一情境中，Ａ銀行即為AI規章草案所稱之「使用者」，而B軟體業者乃是將軟體提供予市場使用之法人，即為本法所稱之「供應商」。同時，在招募人才AI篩選簡歷之結果即屬本法所稱之「使用AI系統的產出」。因此，雖然提供AI簡歷篩選系統之B軟體業者、招募人才之A銀行均不在歐盟境內，然而，AI篩選簡歷之結果直接影響歐盟求職者，則此時Ａ銀行使用AI簡歷篩選系統就落入歐盟AI規章之適用範圍，業者在歐盟境內招募人才時應，即應遵守歐盟AI規章相關規定，例如：依據透明化義務之規定，應先告知歐盟自然人（歐盟投遞履歷之申請人）該項招募程序將會使用AI系統來篩選履歷。

參、以風險為基礎的分級管制方法

歐盟AI規章採取以風險為基礎之規範方式，依照風險等級予以相對應管制的方法（risk-based approach），目前草案將AI依使用目的分為四個等級，包括不可接受的風險程度（Unacceptable）、高風險（High risk）、有限風險（Limited risk），以及極低風險（Low and Minimal risk）。依據該規章草案之規劃，其禁止不可接受的風險程度之AI系統於歐盟境內使用，而整部規章所產生之義務，主要用於規範高風險的AI系統。相較之下，有限風險AI系統僅需負擔特定揭露義務，而極低風險AI的使用則不受該規章之規範，此類AI系統僅需遵守歐盟現有相關法規[9]。

表  AI應用風險分級與所對應義務

資料來源：本研究整理。

一、極高風險：不可接受的風險程度[10]

此類AI系統因與歐盟所設立之價值相違背，例如違反基本權利，因此於歐盟境內受到禁止。此類被禁止的AI系統包括使用潛意識技術或利用弱勢造成他人之身心傷害或行為操縱、政府實施的社會評分系統，以及用於公共場所的即時遠端生物辨識系統。但若基於特定公益目的，例如防止具立即危險的恐怖攻擊、搜索被綁架之兒童之蹤跡等情事，用於公共場所的即時遠端生物辨識系統，可在司法機關或行政機關的許可下有限度的被使用。

二、高風險：新法定義八大類AI適用較嚴格規範[11]

除了不可接受風險的AI系統以外，由於某些AI系統雖不致產生嚴重危害，但在使用上仍可能造成個人基本權及安全的負面影響，因此AI規章草案將其列為高風險進行管理。此類系統係為該規章主要規範之標的，在上市前後皆負有義務且上市前須通過認證。

規章草案第6條對於認定是否為高風險AI系統設定了兩項條件，若一AI系統同時符合兩項條件的情況，即被認定為AI規章草案所規範之高風險AI系統。首先，第一項條件為該AI系統係作為AI規章草案附件二所詳列之現有歐盟調和性法規所規範的相關產品，例如為醫療器材、空、海、陸交通運輸工具、機械及兒童玩具等產品的安全元件，或其即為產品本身；而條件二則為該AI系統為產品之安全元件，或產品本身是AI，而該產品在AI規章草案附件二所列之現有歐盟調和性法規的規範下，須進行第三方符合性評鑑後才可投入市場。

同時，除了上述條件，附件三亦列出八類應被視為高風險之AI系統，包括：

I.       用於自然人的即時和事後遠端生物辨識系統；

II.     關鍵基礎建設，如運輸、水、電等所使用之系統；

III.   教育與職業訓練所採用之系統，例如考試評分及錄取之系統；

IV.   就業、員工管理及自雇系統，例如履歷分類系統；

V.     公、私部門之服務所用之系統，例如信用評分、社會救濟、消防及醫療緊急服務等評估系統；

VI.   可能涉及基本權之執法活動，例如再犯性評估、證據可信評估等系統；

VII. 移民、庇護及邊境管理，在核實文件真實性等措施時使用之系統；

VIII.  司法行政與民主程序上所使用之AI系統。

依據AI規章草案，執委會未來將可依需求通過制定標準與風險評估方法，對於附件三之清單進行擴增[12]。

三、有限風險[13]

一般常見之AI系統的使用，由於對個人所可能造成的風險較小且可控，因此列為有限風險之AI系統。AI規章草案僅要求此類系統負擔有限的透明度義務，並未對其進行嚴格規範，然此類AI系統之使用仍須符合現有歐盟相關法規的規範。此類AI系統常見的為聊天機器人，於操作時其必須提醒使用者正在與AI系統互動，並且若系統採用例如情緒辨別、生物辨識、深偽（deep fake）等技術，則必須對使用者或受眾進行揭露。

四、極低風險[14]

此類AI系統為日常生活中最常見之AI運用，包括電玩、垃圾郵件分類，及庫存管理等系統皆屬於此類。由於其對於使用者產生之風險較小，因此該規章並未對其進行要求，此類系統僅需遵守現有歐盟相關規範，例如歐盟一般資料保護規章（General Data Protection Regulation，GDPR）等規範，但鼓勵其自主遵守行為準則（codes of conduct）。

肆、高風險AI之風險管理義務與符合性評鑑

於AI規章草案之規範下，為避免高風險AI系統進入市場後可能產生之風險，此類系統必須在其完整生命週期中受到風險管理及人為監測。包括在上市前，供應商或製造商有義務確保對於該系統已完成包括建立風險管理系統、數據管理、製作技術文件（technical documentation）、記錄並保存系統活動、提供消費者有關系統充分資訊的能力、穩健及網路安全的確保，並且配有充分的人員監控[15]。同時，在系統的運作上，必須確保其符合歐盟相關之法規及基本權的規範^[16]。

另外，在進入市場前，AI系統須通過符合性評鑑（conformity assessment）並取得合格認證標章（CE marking），該評鑑必須經由廠商內部控制程序（internal control procedure）進行自我評估，包括製作技術文件，以及建立品質管理系統（quality management system），並可經由歐盟指定之第三方驗證機構（Notified Bodies）進行評鑑及驗證。另外，應提供主管機關書面之歐盟符合性聲明（EU declaration of conformity）。最後，應於上市前，在由執委會管理的歐盟獨立高風險AI系統資料庫（EU database for stand-alone high-risk AI systems，其後稱“歐盟資料庫”）進行註冊。

在AI應用投入歐盟市場使用的階段，AI規章草案針對高風險AI系統之供應商賦予後市場監督義務。此些義務包括：研訂後市場監督計畫、設置後市場監督系統、執行監督系統，以及將違規事件通報主管機關等義務。此些義務內容分述如下：

l  後市場監督計畫與設置[17]：草案第61條要求高風險AI之供應商應依據AI系統之技術特性與風險，研訂相對應的監督計畫。並且，供應商應按照監督計畫確實設置AI系統之後市場監督系統。如果供應商因應歐盟其他產品安全法規已設置有後市場監督系統，可以在計畫中載明將如何整合後市場監督系統；

l  後市場監督系統之執行[18]：草案第61條進一步要求高風險AI之供應商應透過後市場監督系統，持續且系統性地在整個AI的生命週期中蒐集、分析運作數據，並透過相關數據分析之結果確保AI運作使用符合本法規範；

l  違規事件之通報義務[19]：高風險AI之供應商如發現AI之運作有發生違反歐盟或會員國法律或基本權利義務的事件，有義務立即向主管機關通報AI違規事件。依據規範，供應商最遲應在知悉事件發生或有危害可能性之時起15天內向事件所在地的會員國市場監督機關提出通報。

伍、對我國AI產業影響與政策意涵

觀察目前歐盟提出之AI規章草案及修正報告，對於AI系統之定義及其風險分級仍過於廣泛且不明確。不明確的風險分級方式，可能導致業者無從判斷研發、使用之AI系統的風險分級，以及是否會須負擔較為嚴格的高風險AI系統義務等問題。例如依據規章第六條，作為特定產品之安全元件的AI系統，在符合所列條件時將被視為高風險AI系統，然而規章並未進一步說明如何認定該系統係被用於安全元件。特別是AI技術開發需要相當時程，此一技術研發應用之產業特性，迫使業者須及早掌握歐盟AI監管規則的實施期程，在AI開發階段即著手保留開發過程相關紀錄，並針對數據進行適當管理，以便日後AI系統申請進入歐盟市場時能夠提出相關紀錄，以符合對於高風險AI系統在評鑑、風險控制、透明化等監管要求。

由於依據該草案規範之適用範圍，未來在施行上將可能產生域外適用效果，我國業者若預期將其AI產品投入歐盟市場，應注意法規未來走向以及釐清其產品之風險分類的判斷標準。依據法規所進行的管理和申請等程序所產生的費用，將增加業者將AI應用導入歐盟市場之成本，特別是可能影響中小企業使用AI技術或開發AI項目的意願。在AI技術涉及高風險AI應用的情況下，其系統於上市前後皆須負擔風險管理與監督之責任，其所造成之額外成本恐相當龐大，包括設備、人力、職業訓練，以及申請認證之程序等，對於中小企業進入歐盟市場將更為不利。