2021年4月21日,欧盟委员会公布了全球首部全面监管人工智能(“AI”)的立法草案,即《欧洲议会和理事会关于制定人工智能统一规则(人工智能法)和修正某些欧盟立法的条例的建议案》(Proposal for a Regulation of the European Parliament and of the Council laying down harmonised rules on artificial intelligence (Artificial Intelligence Act) and amending certain Union legislative acts, 以下简称“AI法案”),引发了各界的关注和讨论。
经过数次讨论和修订,欧盟理事会于2022年12月6日通过经其修订后形成的折衷文本(compromise text)。欧洲议会原定于2023年3月底对折衷文本进行投票,并于4月开始欧洲议会、理事会和欧盟委员会之间的三方会谈(trilogue)程序,但目前欧洲议会分歧较大,比如对高风险AI的范围界定就是争议焦点之一,尤其是,最近广受关注的ChatGPT这类通用AI是否该列入高风险AI类别,各方意见不一。因此,整体立法进度推迟,何时能够走完立法程序获得正式批准的不确定性增加。
尽管如此,考虑到AI法案可能带来的立法示范效应和执法外部效应,有必要对AI法案进行深入研究。在前文《🔗中美欧人工智能法律监管概览》的基础上,本文将从治理目标、监管方法、适用范围、高风险AI治理以及监管机制等方面展开,对欧盟的AI法案进行详细介绍,并从中国视角给出评论。
(一)治理目标
1. 保护符合欧盟价值观的基本人权
人工智能在加速推进技术变革、经济增长和社会发展的同时,也给个人和社会带来新的风险。如何有效识别和应对伴随AI而生的风险,保障欧盟公民的健康、安全和符合欧盟价值观的基本权利成为欧盟立法干预AI发展的首要目标。
2. 维护欧盟的数字主权和科技领导地位
在针对前沿科技进行立法规制方面,技术和产业发展并非走在最前列的欧盟向来抢跑全球,2018年生效的《通用数据保护条例》(General Data Protection Regulation, “GDPR”)即为典型。尽管弹赞皆有,GDPR事实上形塑了全球数据保护的基本框架,对众多国家的数据保护立法产生了深远影响。在全球化退潮之际,这种通过前瞻性立法深度影响全球市场的做法,形成了一种国际互动的新模式。这一次,欧盟继续高举基本人权大旗,希望在AI领域复制GDPR故事,通过统一立法抢占先机,塑造符合其利益的全球AI监管政策,以维护其在全球治理中的影响力和主导国际议程的能力,这既是欧盟的雄心,也是它的私心。
(二)监管方法
AI法案提出平衡、相称的统一监管方法,以求在广泛、全面地解决AI相关风险和问题的基础上,设定最低必要的监管要求。
1. 风险监管方法
2. 统一监管方法
(一)适用客体
AI法案适用于在欧盟投放市场、投入服务或使用的AI系统。根据AI法案第3条第1项及其附录1,AI法案规制的“AI系统”是指采用机器学习方法,基于知识和逻辑的方法,统计法以及贝叶斯估计、搜索和优化中的一种或多种技术和方法所开发的软件,该软件可以针对人为指定的目标生成影响交互环境的输出,例如内容、预测、建议或决定。
根据AI法案第2条第2、3、4款,下述情形被排除在AI法案的适用范围之外:
作为产品或系统的安全组件或其本身属于产品或系统的高风险AI系统,其已受到欧盟关于特定行业产品安全立法的规制,如航空、汽车、铁路、机动车、船舶行业中使用的产品或系统;
专门为军事目的而开发或使用的AI系统;
第三国公共机构或国际组织在国际协定的框架下使用受AI法案约束的AI系统与欧盟或其成员国进行执法和司法合作。
自AI法案发布之后,AI法案对AI系统的界定引起了不同维度的批评和担忧,有观点认为受AI法案影响和监管的AI系统范围相当有限,与其统一立法的定位不符;亦有评论指出AI系统的涵盖范围过于模糊、宽泛而可能将本不应适用AI监管要求的传统软件纳入其中,由此引发过度监管的问题。
(二)适用主体
AI法案的监管对象包括AI价值链上的所有关键主体,即AI系统的提供者、使用者、进口者和分销者,但监管治理的发力点将集中在提供者,因为其最有能力影响和审查系统功能设计。划分各类角色的目的在于区分不同角色所应承担的责任和义务。详见下表:
如发生下述三种情形,分销者、进口者、使用者或其他第三方将视同高风险AI系统提供者:
以自身名义或商标将高风险AI系统投放市场或投入服务;
修改已经投放市场或投入服务的高风险AI系统的预期用途;
对高风险AI系统进行重大修改。
尤其是在上述第(2)、(3)情形下,最初将高风险AI系统投放市场或投入服务的提供者将不再被视为相应系统的提供者。
此外,针对产品制造商以自己的名义将嵌入高风险AI系统的产品投放市场或投入服务的情况,如该产品受欧盟关于特定行业产品安全立法的规制,则产品制造商须负责该AI系统符合AI法案的要求,并对该系统承担与提供者相同的义务。
(三)适用地域
与GDPR的地域适用规则相似,AI法案的适用范围亦涵盖欧盟域内和域外,具体而言:
域内效力:AI系统的提供者在欧盟境内将AI系统投放市场或投入服务(无论提供者是否在欧盟境内设立),或者AI系统的使用者位于欧盟境内。例如,OpenAI将其运营的ChatGPT开放给欧盟的用户使用,即属于在欧盟投放市场或投入服务,OpenAI将受AI法案约束。
域外效力:AI系统的提供者及使用者均位于第三国,但系统输出的结果在欧盟境内使用。例如,境外经营者在欧盟境外使用AI系统对位于欧盟的个人的信用情况进行评分并以此决定对该等个人的授信额度,则该境外经营者的行为将受到AI法案的约束。
AI法案对AI系统的风险分级标准,以及对应的系统范围和治理策略详见下表:
鉴于分级治理的策略将对AI系统的定性产生“非黑即白”的效果,欧盟尚未就AI系统的风险等级和清单范围达成一致意见。例如,欧盟理事会提出为确保仅将严重侵犯个人健康、安全和基本权利的行为纳入高风险监管的范围,应在高风险AI系统清单中删除执法部门用于检测“深度造假”、自然人犯罪分析以及用于核验旅行证件真实性的系统,并在其中增加应用于关键电子基础设施以及生命和健康保险的AI系统。然而,在缺乏对AI系统的深入理解和治理经验的情况下,试图完全理清和科学划定AI系统的风险等级本身即是一件艰难且危险的决策。
根据AI法案第三编,高风险AI系统的提供者在系统各生命周期即触发并需持续遵守的监管规则如下:
(一)系统开发设计
1. 建立实施风险管理体系
为消减高风险AI系统上市带来的风险,提供者应在系统开发设计阶段即建立、实施风险管理体系,将风险管理工作贯穿于高风险AI系统的全生命周期,并做好风险管理体系的迭代、更新、记录和维护。风险管理涵盖高风险AI体系的风险识别、分析、评估、测试、上市后再评估,以及采取设计开发、缓解控制、信息披露、使用者培训等适当措施以减低或消除风险。
2. 建立实施质量管理体系
高风险系统的提供者应建立、实施质量管理体系,以确保遵守AI法案的要求。具体而言,系统提供者应通过书面文件系统有序地记录其合规策略、检测和验证程序、适用的技术规范、数据管理体系、风险管理体系、上市后监测机制、事件和故障报告、监管配合、问责框架等内容。
3. 开展数据治理
高质量的数据对于AI系统的安全、合法、可信运行至关重要。为此,提供者应采取数据清洗、可用性评估、偏差检查、缺陷识别等数据治理措施,确保训练、验证和测试所用的数据集具备相关性、代表性、准确性和完整性。此外,为防止他人因AI系统偏差而受到歧视性待遇,对高风险AI系统进行偏差监控、检测和纠正,提供者可以将保护重大公共利益作为合法事由,以处理特殊类别的个人信息。
4. 编制并更新技术文档
提供者应在高风险AI系统投放市场或投入服务之前编制并持续更新技术文档,以释明系统的开发方式及其在生命周期不同阶段的表现。技术文档应涵盖AI系统的总体情况、基本原理、开发流程、生命周期内的变化,以及对AI系统的性能和局限的监测、运作和控制等内容,以表明或供AI系统根据技术文档评估AI系统的合规性。
5. 保存系统运行日志
在设计、开发高风险AI系统时,提供者应确保系统具备自动记录运行日志的功能。日志记录功能应确保AI系统在其生命周期内可追溯运行记录的能力与此系统的预期用途相称,以确保能够监测到可能导致AI系统产生重大风险或系统发生实质性修改的事件,且便于开展对高风险AI系统的上市后监测。
6. 保证透明度和信息披露
为解决AI系统的复杂性和不透明性的问题,提供者在设计和开发系统时应确保系统运行足够透明,并给高风险AI系统附上相关文档和使用说明,以简洁明了、通俗易懂且便于获取的方式向使用者完整地披露与AI系统相关的信息,使用者能够解释并妥善使用系统产生的输出。提供者应披露的信息需涵盖其身份和联系方式,系统的特点、功能和性能限制,采取的人为监督措施,系统的预期使用年限以及确保系统正常运行所必需的维护和保养措施等。
7. 实施人为监督
提供者在设计、开发AI系统时,应为其配备适当的人机交互工具,以便自然人能够有效监督AI系统的使用。人为监督可通过下述方式落实:
在技术上可行的情况下,提供者在将高风险AI系统投放市场或投入使用之前,由提供者确定人为监督工具并将其嵌入系统;
提供者在将高风险AI投放市场或投入使用之前,由提供者进行识别,由使用者实施人为监督,但前提为使用者适合开展监督工作。
8. 保障系统的准确性、健壮性和网络安全
提供者在开发和设计高风险AI系统时,应基于高风险AI系统的预期用途,使系统达到适当的准确性、健壮性和网络安全水平,并确保上述性能在系统的整个生命周期内保持一致。技术健壮性为高风险AI系统的关键要求。高风险AI系统应当能够应对系统或系统运行环境中可能发生的错误、故障、偏差以及可能危及系统安全的恶意行为等情况,例如高风险AI系统生成的错误或带有偏见的内容,可能影响个人的安全和基本权利。健壮性可通过技术冗余解决方案予以实现,如备份或故障应急计划。提供者应在高风险AI系统附带的使用说明中声明系统的准确性程度和相关准确性指标,以保障准确性。此外,提供者应采取适当的措施保障网络安全,以抵御恶意第三方利用系统或ICT基础设施中的漏洞实施改变系统的用途、操作、功能或其他危害系统安全的行为,如对抗攻击或恶意投毒。
(二)系统上市准备
1. 开展符合性评估及声明
符合性评估是高风险AI风险上市的必经流程,旨在确保高风险AI的安全可信。所谓“符合性评估”是指由提供者或第三方符合性评估机构验证高风险AI系统是否符合AI法案第3编第2章中关于高风险AI系统的管理要求(即前述系统开发阶段提及的合规要求)。针对不同类型的高风险AI系统,其适用的符合性评估程序存在差别,具体而言:
针对个人生物识别和分类系统,提供者如已应用欧盟协调标准(即由欧洲标准化委员会(CEN)、欧洲电工标准化委员会(CENELEC)及欧洲电信标准协会(ETSI)制定并经批准实施的欧洲标准)或欧盟委员会制定的通用规范,则其自行开展基于内控的符合性评估(即自评估)即可;如提供者未应用或未完全应用欧盟协调标准,或不存在欧盟协调标准或通用规范,则应由提供者自主选择的第三方符合性评估机构实施基于质量管理体系和技术文件的符合性评估(即外部评估),但欧盟公共机构不可自主选择符合性评估机构;
针对除个人生物识别和分类系统之外的其他七类独立高风险AI系统(例如涉及关键基础设施、教育、就业的AI系统),提供者开展自评估即可;
针对在欧盟统一立法规制范围内作为产品安全组件或本身属于产品的高风险AI系统,如其适用的特定行业立法规定了符合性评估程序,则在对其进行评估时,应将AI法案的合规要求涵盖在内。如上述特定行业立法规定产品制造商可以退出第三方符合性评估,则该产品制造商只有在符合欧盟协调标准或通用规范的情况下方可退出评估。
如高风险AI系统经过重大修改,则需重新开展符合性评估。但是,对于投放市场或投入服务后继续学习的系统,如提供者在初始开展符合性评估时已预先确定对该系统及其功能作出变更,且技术文档中亦包含了变更的信息,则此类变更不构成重大修改,无需重新开展符合性评估。
经符合性评估后证明高风险AI系统符合AI法案的要求后,提供者应编制并适时更新欧盟符合性声明,并在AI系统投放市场或投入服务后交由相关国家主管部门保存十年。
2. 贴附CE标识和数据库登记
在高风险AI系统投放市场或投入服务之前,提供者应在高风险系统或其包装或附带文档中贴附CE标识,并将系统在欧盟数据库进行登记。
(三)系统上市之后
1. 监测上市后风险
提供者应当建立上市后监测体系,主动收集、记录和分析由使用者提供或提供者通过其他途径收集的高风险AI系统在全生命周期内有关其性能的数据,以改进系统、系统的设计开发流程或采取纠正措施。
2. 采取纠正措施
提供者如认为或有理由认为其投放市场或投入服务的高风险AI系统不符合AI法案的要求,则其应立即采取纠正措施,使系统符合AI法案的要求,或视情况撤回或召回系统,并通知分销者和进口者及其授权代表。
3. 报告风险事件
如提供者已知悉高风险AI系统存在侵害个人的健康、安全或基本权利的风险,则其应立即将此情况和采取的纠正措施告知已投放或使用此系统的成员国的国家主管机构和为此系统出具证书的公告机构。
如在欧盟市场上投放的高风险AI系统发生侵害基本权利的严重事件或故障,则提供者应在确定系统与该事件或故障的因果关系或关系的合理可能性后,立即或在知悉事件或故障后的15日内,向事件或违法行为发生地的成员国市场监管机构上报此风险事件。
4. 配合监管
提供者应响应成员国国家主管机构的要求,向其提供所有必要的信息和文档,以证明高风险AI系统符合关于高风险AI系统的管理要求。此外,基于主管机构的合理请求,提供者应允许主管机构访问高风险AI系统在提供者控制范围内自动生成的日志。
(一)新设机构
AI法案提出应新设欧盟人工智能委员会,协调并协助欧盟委员会、国家监管机构和其他主管机关对AI的统一监管。为此,欧盟人工智能委员会需在成员国之间收集和分享专业知识和最佳实践,推送成员国统一的行政活动,并就AI执行有关的事项发表意见、提供建议或起草文件。
(二)监管协调
成员国应设立或指定国家主管机关负责AI法案的适用和执行,并指定其中一个(常态)或多个机关为国家监管机关,负责定期向欧盟委员会报告相关市场监管情况。针对受特定行业产品立法规制的高风险AI系统,以及针对受欧盟金融服务法规制的金融机构所投放市场、投入服务或使用的AI系统,应由根据前述专门立法开展市场监管或金融监管的机构负责执行AI法案。针对出于执法目的所用的“实时”和“在后”远程生物特征识别AI系统,以及用于执法活动和移民、庇护和边境管制的管理的AI系统,成员国应指定主管数据保护、监督执法、移民或避难活动的国家主管机构负责执行AI法案。
(三)行政处罚
AI法案设定了以下三档处罚金额:
如果违反有关禁止使用人工智能的要求或者有关数据质量的要求,则最高将面临3000万欧元的处罚或者企业上一年度全球营业额6%的处罚,以较高者为准;
如违反AI法案规定的其他要求,则最高将面临2000万欧元的处罚或者企业上一年度全球营业额4%的处罚,以较高者为准;
在答复请求时,如向符合性评估机构或成员国主管机关提供不正确、不完整或误导性信息,则最高将面临1000万欧元的处罚或企业上一年度全球营业额2%的处罚,以较高者为准。
使用微软基于GPT-4模型的新一代搜索引擎New Bing进行检索,可以看到目前对AI法案的批评包括:
AI法案的很多内容是从1980年代的消费者法规中拼凑而来的,不适用于当前的AI技术和应用;
AI法案对于操纵性和有害的AI系统的限制不够严格,甚至允许在欧盟境外使用这些系统;
AI法案过于依赖于协调标准的制定和执行,而没有明确规定监管机构的职责和权力;
AI法案对于生物识别系统和情感识别系统的规范不够清晰和科学,可能导致对隐私和人权的侵犯;
AI法案没有充分考虑AI系统对于社会福利、环境、媒体等领域的影响,没有提出有效的保障措施。
中国目前对于AI监管没有统一立法,近期也没有统一立法的迹象。面对AI法案这样一部可能产生重要国际影响的欧盟立法,中国首先需要考虑的问题是未来是否也需要一部类似的统一人工智能法,这需要结合中国AI产业发展的实际情况以及未来的国际环境来决策,“因为欧盟有,所以我们也要有”显然不是充分理由。
如果经过审慎评估,统一立法的路径也适合中国,那么AI法案在哪些方面可以提供借鉴?我们认为,以下几点可以供中国立法者参考:
仅监管实际投入市场的AI产品,单纯的AI研发活动不纳入监管范围;
监管应全面覆盖AI价值链的各关键角色和业务环节,明确各方权利义务和责任归属;
根据风险分级治理,区别监管不同风险等级的AI产品;
倡导制定和遵守标准与行为准则,兼顾灵活性和可执行性。
就在本文即将定稿之际,马斯克等千人联名签署公开信,呼吁暂停巨型AI实验至少六个月时间,停止训练比GPT-4更强大的AI系统,理由是:将发展通用AI的决策交给未经选举的科技领袖来做出,任由大型AI系统快速发展,参与者之间可能陷入失控的相互竞赛,最终可能导致人类失去对文明的控制。签署者认为,如果自律性的暂停无法迅速实施,政府就应该发布禁令。
在ChatGPT横空出世之前,这样的公开信出现在AI监管环境相对宽松的美国是难以想象的。在AI发展史上,“狼来了”的警告出现过多次,这一次,似乎真的不一样?无论如何,这些最新情况将对欧盟的AI法案的立法进程产生实质影响,当然也会影响中国政府对AI的监管立场。