炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

人工智能，治理原则，风险分类

2024年9月9日，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》1.0版（以下简称“《框架》”），为我国人工智能发展所面临的主要风险及可行应对方案给出了指引。

在治理原则方面，我国人工智能的治理原则强调安全与责任。《框架》以鼓励人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点，提出了四项治理原则：一是包容审慎、确保安全；二是风险导向、敏捷治理；三是技管结合、协同应对；四是开放合作、共治共享。

在人工智能所面临的风险方面，《框架》全面梳理了人工智能风险。虽然此前欧盟《人工智能法案》从风险程度高低的角度出发，将所有人工智能分为四类，但并未对人工智能运用过程中的潜在风险进行明确分类，《框架》则将人工智能风险具体可以分为两大类七小类。具体来看，《框架》指出人工智能运用所面临的风险包括：

第一，人工智能内生安全风险，该类风险是伴随人工智能技术的出现而固有存在的风险，包括模型算法安全风险、数据安全风险与系统安全风险。

第二，人工智能应用安全风险，该类风险是社会在应用人工智能的过程中的潜在风险，包括网络域安全风险、现实域安全风险、认知域安全风险与伦理域安全风险。

在应对风险措施方面，《框架》一方面提出了包括实施人工智能应用分类分级管理、强化人工智能供应链安全保障、推进人工智能可解释性研究等在内的十条综合防治措施；另一方面，针对具体的人工智能安全风险，《框架》详细给出了具体技术应对。

在开发与应用指引方面，针对人工智能行业中主要的三类参与方，《框架》分别对其应尽的责任与义务给出指引：一是模型算法研发者应从模型的搭建、训练数据的安全与个人信息保护、算法价值观的选择、安全评估测试等方面做好人工智能的风险防控。二是人工智能服务提供者应向用户尽到告知、请求同意、人工智能说明等义务，还应评估人工智能产品与服务在面临故障、攻击等异常条件下抵御或克服不利条件的能力，防范出现意外结果和行为错误，确保最低限度有效功能。三是人工智能服务应用者，应审慎评估目标应用场景采用人工智能技术后带来的长期和潜在影响，开展风险评估与定级，避免技术滥用。

2024年9月9日，全国网络安全标准化技术委员会（以下简称“网安标委”）在2024年国家网络安全宣传周主论坛上发布了《人工智能安全治理框架》1.0版（以下简称“《框架》”）[1]，以落实2023年我国在第三届“一带一路”国际合作高峰论坛中所提出的《全球人工智能治理倡议》（以下简称“《倡议》”）[2]。

根据《全国网络安全标准化技术委员会章程》，网安标委是是网络安全专业领域从事标准化工作的技术组织，对网络安全国家标准进行统一技术归口，统一组织申报、送审和报批，具体范围包括网络安全技术、机制、服务、管理、评估等领域。网安标委由国家标准委领导，业务上受中央网络安全和信息化委员会办公室（以下简称“中央网信办”）指导。虽然《框架》并未对人工智能安全治理提出强制性要求，但相关标准或将对我国人工智能安全保障和有效治理指明方向。

一、确定人工智能治理原则的中国方案

近年来，全球人工智能技术快速发展，对经济社会发展产生深远影响、带来巨大机遇的同时，人工智能的风险管理和治理问题随之成为全球的关注热点。由于人工智能技术发展常常领先于普罗大众的认知，对人工智能的监管应具备前瞻性与敏捷性，生成式人工智能的出现更是加速了全球人工智能监管的进程。在此之前，我们在2023年11月和2024年2月分别发布了《人工智能监管国际合作启航——评<布莱切利宣言>》[3]《人工智能监管立法将迎里程碑——评欧盟<人工智能法案>达成一致》[4]报告就人工智能的国际监管进展进行了耿总。

从全球范围来看，虽然侧重点有所区别，但我国与欧盟是均已提出人工智能治理原则，与之相对比，美国则并未系统性提出人工智能治理原则。

美国的人工智能治理坚持创新优先的理念，因而尚未提出人工智能治理和监管的原则。相较于严格监管，美国更强调维护和促进人工智能技术的创新发展。由于目前尚无联邦层级的人工智能法律与规定，且各州有独立的立法权，导致美国目前缺乏统一的人工智能治理原则或法规。2023年10月30日，美国总统拜登签署颁布《关于安全、可靠、可信地开发和使用人工智能的行政命令》（Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence），其重点也在于强调人工智能发展的重要性。

欧盟对于人工智能的治理原则重在维护人权与伦理。欧盟在2019年发布《可信AI 伦理指南》（Ethics Guidelines for Trustworthy AI），提出人工智能监管的四大准则，分别是：尊重人类自主权、预先防止危害、保障公平、确保运用的可解释性。2024年8月1日，欧盟《人工智能法案》正式施行，其规定人工智能的六大治理原则为：明确人类代理和监督权力、确保技术稳健性和安全性、保护隐私和数据安全、确保透明性、遵守非歧视和公平性原则、运用重视社会和环境福祉。

从欧盟的人工智能治理原则来看，人权与伦理是其关注重点。例如，“明确人类代理和监督权利原则”强调人工智能的开发和部署应最大限度地减少意外和损害，确保在出现意外问题时，人工智能能确保稳健性并防止恶意第三方操纵人工智能伤害人类。又如，“遵守非歧视和公平性原则”则强调人工智能系统的开发和使用必须促进性别平等和文化多样性，同时避免出现欧盟或国家法律禁止的歧视性影响和不公平偏见。

我国人工智能的治理原则更加强调安全与责任。早在2019年，国家新一代人工智能治理专业委员会便印发了《新一代人工智能治理原则——发展负责任的人工智能》[5]，提出了“和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理”的八大人工智能治理原则。本次发布的《框架》在2023年《倡议》所提出的“坚持发展和安全并重”指导精神下，以鼓励人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点，提出了四项治理原则：

一是包容审慎、确保安全。《框架》要求：“鼓励发展创新，对人工智能研发及应用采取包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的风险及时采取措施。”《框架》对安全的重视是对《倡议》中“坚持发展与安全并重”原则的严格落实。

二是风险导向、敏捷治理。《框架》要求：“密切跟踪人工智能研发及应用趋势，从人工智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对措施。关注安全风险发展变化，快速动态精准调整治理措施，持续优化治理机制和方式，对确需政府监管事项及时予以响应。”应当指出的是，《框架》对人工智能的相关风险进行了全面的梳理，下文将就此进行详述。

三是技管结合、协同应对。《框架》要求：“面向人工智能研发应用全过程，综合运用技术、管理相结合的安全治理措施，防范应对不同类型安全风险。围绕人工智能研发应用生态链，明确模型算法研发者、服务提供者、使用者等相关主体的安全责任，有机发挥政府监管、行业自律、社会监督等治理机制作用。”

四是开放合作、共治共享。《框架》要求：“在全球范围推动人工智能安全治理国际合作，共享最佳实践，提倡建立开放性平台，通过跨学科、跨领域、跨地区、跨国界的对话和合作，推动形成具有广泛共识的全球人工智能治理体系。”我国此前在2023年11月初于英国举行的首届人工智能安全峰会上联署了《布莱切利宣言》[6]，其指出从人工智能技术的本质和运用来看，人工智能带来的风险是国际性的，人工智能的治理应强化国际合作。《框架》将“开放合作、共治共享”列为人工智能治理原则，体现了我国在人工智能监管对国际合作的重视，体现了大国的责任与担当。

值得注意的是，2024年5月14日，中美人工智能政府间对话首次会议在瑞士日内瓦举行，双方围绕人工智能科技风险、全球治理等各自关切的问题交换了意见。此次会议是落实中美元首旧金山会晤共识的重要举措，标志着双方人工智能政府间对话机制的正式建立[7]。

二、全面梳理人工智能风险

近年来人工智能已在多个领域引起变革，与之相伴随的是，对人工智能运用中算法风险、数据风险、可能危害人类等热点的讨论热度上升，但境内外官方机构此前并未对人工智能所面临的风险进行全面分类。我们此前在2024年2月5日发布的报告《人工智能监管立法将迎里程碑——评欧盟〈人工智能法案〉达成一致》[8]中指出，欧盟《人工智能法案》从风险的角度出发，将人工智能系统分为风险不可接受（Unacceptable risk）、高风险（High Risk）、风险有限（Limited Risk）、风险最小（Minimal risk）四类风险等级。应当指出的是，欧盟《人工智能法》虽然将人工智能按照潜在风险等级分为撕裂，但并未对人工智能运用所面临的具体风险进行梳理和分类。

《框架》按照风险管理的理念，紧密结合人工智能的技术特性，全面梳理了人工智能风险，具体可以分为两大类七小类：

第一类是人工智能内生安全风险，该类风险是伴随人工智能技术出现而固有存在的风险，包括模型算法安全风险、数据安全风险与系统安全风险。

在模型算法安全风险方面，具体涵盖可解释性差的风险、偏见与歧视风险、鲁棒性（Robust，即稳健性）弱风险、被窃取篡改的风险、输出不可靠的风险、对抗攻击的风险。值得注意的有三点：一是可解释性差风险、偏见与歧视风险的存在已被公众广泛认识。前者由算法决策流程的复杂性导致，缺乏严格的逻辑推导使得算法结果难以确切归因；后者则是因为算法输出的结果天然会对人群进行分类或者评分，因此通过预测形成“可比较”结果是人工智能算法的根本目的。因此，上述两类风险的存在在人工智能的运用中难以完全避免。在一定情况下，为了降低算法可解释性风险和偏见风险，监管部门会对算法透明性提出要求，通过模型搭建、训练、推理过程的公开透明，便于公众对模型进行监督，以从侧面减少模型的内在固有风险。二是鲁棒性弱风险与输出不可靠的风险主要集中于以深度神经网络为基础的生成式人工智能领域。我们在2024年6月15日发布的《大模型的逻辑与可行金融应用——2024年中数字金融展望》[9]报告中指出，大模型广泛存在“一本正经地胡说八道”情况，即输出内容与现实不一致或与用户输入不对应，分别对应“事实性幻觉”与“忠实性幻觉”。大模型幻觉给其实际部署带来了重大挑战，并引发了对大模型在现实场景中可靠性的担忧。三是被窃取篡改的风险与对抗攻击风险主要是指人工智能的参数或者训练数据遭到泄露或者外部攻击，导致人工智能出现错误输出甚至故障。

在数据安全风险方面，主要包括四种的风险：一是违规收集使用数据风险，强调在人工智能收集个人数据进行训练时要获取数据权利主体（如个人）的授权与同意，并保障个人数据安全。二是训练数据含不当内容、被“投毒”风险，人工智能的能力来源于训练数据，以大模型为例，训练数据中的低质、虚假、有害内容将使得大模型输出错误内容，大量质量较低的数据甚至是伪造数据，也是造成大模型的输出出现幻觉的原因之一。三是训练数据标注不规范风险，仍以大模型为例，其续写能力与给出满足人类偏好的“优秀”回答需要使用人类标注数据进行微调，标注数据不规范时可能导致训练结果较差和算法歧视。值得注意的是，我国网信办等七部门在2023年7月10日公布的《生成式人工智能服务管理暂行办法》中[10]规定，在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则。四是数据泄露风险，即个人数据在训练或应用过程中的泄露风险。例如，大模型可能会“记忆”并在特定输入诱导下泄露训练数据中的个人数据。

在系统安全风险方面，主要风险包括缺陷风险、后门被攻击利用风险、算力安全风险与供应链安全风险。值得注意的是，在当前某些经济体采取出口管制等贸易制裁措施的背景下，算力之争的重要性愈发凸显，其背后涉及到的芯片产业链安全风险尤为突出。

第二，人工智能应用安全风险，是社会在应用人工智能过程中的潜在风险。虽然算法中性，但由于运用算法的过程中存在人为因素，因此算法运用的结果未必中性，该大类风险主要包括网络域安全风险、现实域安全风险、认知域安全风险与伦理域安全风险。应当指出的有三点：

一是网络域安全风险与现实域安全风险均是指错误使用人工智能可能导致的风险，区别在于风险发散范围集中于网络虚拟世界还是现实世界。网络域安全风险主要包括信息内容安全风险、混淆事实、误导用户、绕过鉴权的风险等，现实域安全风险则主要包括诱发传统经济社会安全风险、用于违法犯罪活动的风险、两用物项和技术滥用风险。

二是认知域安全风险主要强调人工智能影响社会认知与共识的风险。一方面，人工智能的过度运用有可能加剧“信息茧房”。此前，部分互联网平台企业已使用个性化推荐算法影响用户获得信息的来源，影响用户的消费、订阅等决策，电商平台、文字内容平台与短视频平台等均存在这一情况。而生成式人工智能未来有能力定制化生成相应内容，进一步加剧“信息茧房”。另一方面，人工智能有被用于开展认知战的风险。根据媒体报道，此前曾有疑似运用人工智能干预国外大选的案例出现[11]。在特定情况下，生成式人工智能还可能被利用于制作传播虚假新闻、图像、音频、视频等扭曲社会认知，影响社会稳定。

三是伦理域安全风险主要强调人工智能对现有社会伦理的影响。一方面，人工智能的运用有可能加剧社会歧视偏见、扩大智能鸿沟、挑战传统社会秩序。另一方面，若人工智能未来脱离人类控制，则也有可能产生更多不可控风险。多位图灵奖得主在Science杂志发表论文指出，人工智能的发展没有理由会在其达到人类水平时放缓或停止，一旦自主人工智能系统开始追求不良目标，人类可能无法有效地控制它们（Bengio et al.,2024）。

应当指出的是，在《框架》给出的风险分类基础上，可以建立量化的人工智能评价系统，或将成为官方对人工智能风险评级的基础。

三、完善人工智能风险的应对措施

针对上述人工智能存在的安全风险，《框架》提出了十条综合防治措施：

一是实施人工智能应用分类分级管理。《框架》提出：“根据功能、性能、应用场景等，对人工智能系统分类分级，建立风险等级测试评估体系。加强人工智能最终用途管理，对特定人群及场景下使用人工智能技术提出相关要求，防止人工智能系统被滥用。”如前所述，欧盟《人工智能法》按照风险程度将人工智能应用分为四类，我国未来也可参考国际经验探索建立更多维度、更完善的人工智能分类分级制度。

二是建立人工智能服务可追溯管理制度。《框架》提出：“对面向公众服务的人工智能系统，通过数字证书技术对其进行标识管理。制定出台人工智能生成合成内容标识标准规范，明确显式、隐式等标识要求，全面覆盖制作源头、传播路径、分发渠道等关键环节，便于用户识别判断信息来源及真实性。”

三是完善人工智能数据安全和个人信息保护规范。《框架》提出：“针对人工智能技术及应用特点，明确人工智能训练、标注、使用、输出等各环节的数据安全和个人信息保护要求。”值得注意的是，数据标注存在一定专业性，不同领域的数据标注有较大差异，不同领域、行业的监管机构或行业协会应牵头制定相应的数据标注标准。此前，2024年2月9日，最高检发表文章指出[12]，数据标注必须坚持客观规范、真实安全，透明可信可解释，人工辅助、权责明晰、权责一致的三大原则。同时，数据标注、人工智能算法测序等业务，并不能直接委托人工训练师，或全权委托于人工智能模型研发企业单位。检察办案的亲历性与法律监督素养，是数据标注规则优化实施的基本保障。

四是构建负责任的人工智能研发应用体系。《框架》提出：“研究提出‘以人为本、智能向善’在人工智能研发应用中的具体操作指南和最佳实践，持续推进人工智能设计、研发、应用的价值观、伦理观对齐。探索适应人工智能时代的版权保护和开发利用制度，持续推进高质量基础语料库和数据集建设，为人工智能安全发展提供优质营养供给。制定人工智能伦理审查准则、规范和指南，完善伦理审查制度。”

五是强化人工智能供应链安全保障。《框架》提出：“推动共享人工智能知识成果，开源人工智能技术，共同研发人工智能芯片、框架、软件，引导产业界建立开放生态，增强供应链来源多样性，保障人工智能供应链安全性稳定性。”值得注意的是，由于大模型“规模定律”（Scaling Law）的存在，模型的计算量与参数量、数据集大小呈线性正相关，而模型的性能由模型计算量决定（Kaplan et al.,2020），因此算力对模型训练的重要性进一步加强。

六是推进人工智能可解释性研究。《框架》提出：“从机器学习理论、训练方法、人机交互等方面组织研究人工智能决策透明度、可信度、纠错机制等问题，不断提高人工智能可解释性和可预测性，避免人工智能系统意外决策产生恶意行为。”应当指出的是，增强人工智能可解释性的工作是统计学界的热点研究方向，不同于计算机领域更看重模型的实际效果，统计学领域对模型的内在逻辑更为重视。未来，统计学或将为人工智能可解释性做出突出贡献。

七是建立人工智能安全风险威胁信息共享和应急处置机制。《框架》提出：“持续跟踪分析人工智能技术、软硬件产品、服务等方面存在的安全漏洞、缺陷、风险威胁、安全事件等动向，协调有关研发者、服务提供者建立风险威胁信息通报和共享机制。构建人工智能安全事件应急处置机制，制定应急预案，开展应急演练，及时快速有效处置人工智能安全威胁和事件。”

八是加大人工智能安全人才培养力度。《框架》提出：“推动人工智能安全教育与人工智能学科同步发展，依托学校、科研机构等加强人工智能安全设计、开发、治理人才的培养，支持培养人工智能安全前沿基础领域顶尖人才，壮大无人驾驶、智能医疗、类脑智能、脑机接口等领域安全人才队伍。”

九是建立健全人工智能安全宣传教育、行业自律、社会监督机制。《框架》提出：“面向政府、企业、社会公用事业单位加强人工智能安全规范应用的教育培训。加强人工智能安全风险及防范应对知识的宣传，全面提高全社会人工智能安全意识。”

十是促进人工智能安全治理国际交流合作。《框架》提出：“积极与各国就人工智能开展合作交流，支持在联合国框架下成立国际人工智能治理机构，协调人工智能发展、安全与治理重大问题。推进APEC、G20、金砖国家等多边机制下的人工智能安全治理合作，加强与共建“一带一路”国家、“全球南方”国家合作，研究成立人工智能安全治理联盟，增强发展中国家在全球人工智能治理中的代表性和发言权。”值得注意的是，虽然欧盟在人工智能的立法走在全球前列，但当前全球人工智能企业主要位于中、美两国，因此中美两国未来也将成为决定人工智能国际监管走向的重要相关方。

此外，与上述十条综合措施相配合，针对具体的人工智能安全风险，《框架》还详细给出了具体技术应对，可以作为人工智能风险防控的工具书。例如，针对内生安全风险中的系统安全风险，可以采取对人工智能技术和产品的原理、能力、适用场景、安全风险适当公开，对输出内容进行明晰标识，不断提高人工智能系统透明性等方式进行应对。应当指出的是，目前国内主流内容分享平台已经要求对人工智能生成的内容进行清晰标注，以避免影响公众判断。

四、给出人工智能开发与应用指引

在人工智能行业中，主要的参与方可以分为模型算法研发者、人工智能服务提供者、人工智能服务应用者三大类，《框架》分别对其在参与人工智能行业需要尽到的责任与义务给出指引。

一是模型算法研发者。从我国实践来看，模型算法研发者通常为互联网企业。以大模型企业为例，据媒体报道[13]，截至2024年7月30日，我国境内已有197个生成式人工智能企业通过网信办备案。作为人工智能的研发者，其在模型搭建、训练数据的选取、模型目标的设置等方面拥有最大的话语权，同样也将为人工智能的风险承担最主要责任。《框架》指出，研发者应从模型的搭建、训练数据的安全与个人信息的保护、算法价值观的选择、安全评估测试等方面做好人工智能的风险防控。

二是人工智能服务提供者。从我国实践来看，大部分人工智能研发企业面向企业端，而非直接面向客户端，因此真正使用人工智能运用且面向终端客户的，往往是采购人工智能算法和应用的企业。以大模型为例，金融、医疗、汽车等行业是大模型的主要应用领域，相关行业的企业也是大模型的主要采购方，正是《框架》所提到的主要人工智能服务提供者。对于人工智能服务者来说，应对去在提供人工智能服务时保障用户权益负主要责任。《框架》指出，人工智能服务提供者应向用户尽到告知、请求同意、人工智能说明等义务，还应评估人工智能产品与服务在面临故障、攻击等异常条件下抵御或克服不利条件的能力，防范出现意外结果和行为错误，确保最低限度有效功能。

三是人工智能服务应用者，该类主体可以分为重点领域使用者与社会公众，《框架》分别对这两类主体做出应用指引。对于政府部门、关键信息基础设施以及直接影响公共安全和公民生命健康安全的领域等重点领域使用者来说，应审慎评估目标应用场景采用人工智能技术后带来的长期和潜在影响，开展风险评估与定级，避免技术滥用。对于社会公众，《框架》指出，其不仅应当提高对人工智能产品安全风险的认识，还应该提高个人信息保护意识，同时关注潜在网络安全风险。

参考文献：

（1）Bengio, Y., Hinton, G., Yao, A., Song, D., Abbeel, P., Darrell, T., Harari, Y. N., Zhang, Y.-Q., Xue, L., Shalev-Shwartz, S., Hadfield, G., Clune, J., Maharaj, T., Hutter, F., Baydin, A. G., McIlraith, S., Gao, Q., Acharya, A., Krueger, D., … Mindermann, S. (2024). Managing extreme AI risks amid rapid progress. Science, 384(6698), 842–845. https://doi.org/10.1126/science.adn0117

（2）Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., ... Amodei, D. (2020). Scaling laws for neural language models. arXiv preprint arXiv:2001.08361.

注：[1]资料来源：网信办，《人工智能安全治理框架》1.0版发布，EB/OL，2024/9/9[2024/9/10]，https://www.cac.gov.cn/2024-09/09/c_1727567886199789.htm。[2]资料来源：网信办，全球人工智能治理倡议，EB/OL，2023/10/18[2024/9/10]，https://www.cac.gov.cn/2023-10/18/c_1699291032884978.htm。[3]https://app.cibresearch.com/shareUrl?name=402388a08b8458b3018b98d13d344f6d[4]https://app.cibresearch.com/tiptap_web/index.html#/shareUrl?id=d813f8a9cbbf289caca7dc0483169394from=app[5]资料来源：中国政府网，发展负责任的人工智能：我国新一代人工智能治理原则发布，EB/OL，2019/6/17[2024/9/10]，https://www.gov.cn/xinwen/2019-06/17/content_5401006.htm。[6]资料来源：英国政府官网，The Bletchley Declaration by Countries Attending the AI Safety Summit，EB/OL，2023/11/1[2024/9/10]，https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration/the-bletchley-declaration-by-countries-attending-the-ai-safety-summit-1-2-november-2023。[7]资料来源：新华网，确保全人类安全是中美人工智能对话应有的初心，EB/OL，2024/5/17[2024/9/10]，http://www.xinhuanet.com/world/20240517/748f8a4463ad4d14a1b9fff70001b37a/c.html。[8]https://app.cibresearch.com/tiptap_web/index.html#/shareUrl?id=d813f8a9cbbf289caca7dc0483169394from=appappVersion=5.2.8。[9]https://app.cibresearch.com/tiptap_web/index.html#/shareUrl?id=9695e48d396046086724e9524907525bfrom=app。[10]资料来源：中国政府网，《生成式人工智能服务管理暂行办法》，EB/OL，2023/7/10[2024/9/10]，https://www.gov.cn/zhengce/zhengceku/202307/content_6891752.htm。[11]资料来源：MIT Technology Review，AI’s impact on elections is being overblown，EB/OL，2024/9/3[2024/9/10]，https://www.technologyreview.com/2024/09/03/1103464/ai-impact-elections-overblown/。[12]资料来源：最高检官网，制定数据标注规则必须坚持“三个原则”，EB/OL，2024/2/9[2024/9/10]，https://www.spp.gov.cn/spp/llyj/202402/t20240209_643355.shtml。[13]资料来源：中国工信新闻网，网信办备案AI大模型数量已达197 行业大模型占比近70％，EB/OL，2024/8/22[2024/9/10]，https://www.cnii.com.cn/rmydb/202408/t20240822_595284.html。

★

炒股就看金麒麟分析师研报，权威，专业，及时，全面，助您挖掘潜力主题机会！

人工智能，治理原则，风险分类

2024年9月9日，全国网络安全标准化技术委员会发布了《人工智能安全治理框架》1.0版（以下简称“《框架》”），为我国人工智能发展所面临的主要风险及可行应对方案给出了指引。

在治理原则方面，我国人工智能的治理原则强调安全与责任。《框架》以鼓励人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点，提出了四项治理原则：一是包容审慎、确保安全；二是风险导向、敏捷治理；三是技管结合、协同应对；四是开放合作、共治共享。

在人工智能所面临的风险方面，《框架》全面梳理了人工智能风险。虽然此前欧盟《人工智能法案》从风险程度高低的角度出发，将所有人工智能分为四类，但并未对人工智能运用过程中的潜在风险进行明确分类，《框架》则将人工智能风险具体可以分为两大类七小类。具体来看，《框架》指出人工智能运用所面临的风险包括：

第一，人工智能内生安全风险，该类风险是伴随人工智能技术的出现而固有存在的风险，包括模型算法安全风险、数据安全风险与系统安全风险。

第二，人工智能应用安全风险，该类风险是社会在应用人工智能的过程中的潜在风险，包括网络域安全风险、现实域安全风险、认知域安全风险与伦理域安全风险。

在应对风险措施方面，《框架》一方面提出了包括实施人工智能应用分类分级管理、强化人工智能供应链安全保障、推进人工智能可解释性研究等在内的十条综合防治措施；另一方面，针对具体的人工智能安全风险，《框架》详细给出了具体技术应对。

在开发与应用指引方面，针对人工智能行业中主要的三类参与方，《框架》分别对其应尽的责任与义务给出指引：一是模型算法研发者应从模型的搭建、训练数据的安全与个人信息保护、算法价值观的选择、安全评估测试等方面做好人工智能的风险防控。二是人工智能服务提供者应向用户尽到告知、请求同意、人工智能说明等义务，还应评估人工智能产品与服务在面临故障、攻击等异常条件下抵御或克服不利条件的能力，防范出现意外结果和行为错误，确保最低限度有效功能。三是人工智能服务应用者，应审慎评估目标应用场景采用人工智能技术后带来的长期和潜在影响，开展风险评估与定级，避免技术滥用。

2024年9月9日，全国网络安全标准化技术委员会（以下简称“网安标委”）在2024年国家网络安全宣传周主论坛上发布了《人工智能安全治理框架》1.0版（以下简称“《框架》”）[1]，以落实2023年我国在第三届“一带一路”国际合作高峰论坛中所提出的《全球人工智能治理倡议》（以下简称“《倡议》”）[2]。

根据《全国网络安全标准化技术委员会章程》，网安标委是是网络安全专业领域从事标准化工作的技术组织，对网络安全国家标准进行统一技术归口，统一组织申报、送审和报批，具体范围包括网络安全技术、机制、服务、管理、评估等领域。网安标委由国家标准委领导，业务上受中央网络安全和信息化委员会办公室（以下简称“中央网信办”）指导。虽然《框架》并未对人工智能安全治理提出强制性要求，但相关标准或将对我国人工智能安全保障和有效治理指明方向。

一、确定人工智能治理原则的中国方案

近年来，全球人工智能技术快速发展，对经济社会发展产生深远影响、带来巨大机遇的同时，人工智能的风险管理和治理问题随之成为全球的关注热点。由于人工智能技术发展常常领先于普罗大众的认知，对人工智能的监管应具备前瞻性与敏捷性，生成式人工智能的出现更是加速了全球人工智能监管的进程。在此之前，我们在2023年11月和2024年2月分别发布了《人工智能监管国际合作启航——评<布莱切利宣言>》[3]《人工智能监管立法将迎里程碑——评欧盟<人工智能法案>达成一致》[4]报告就人工智能的国际监管进展进行了耿总。

从全球范围来看，虽然侧重点有所区别，但我国与欧盟是均已提出人工智能治理原则，与之相对比，美国则并未系统性提出人工智能治理原则。

美国的人工智能治理坚持创新优先的理念，因而尚未提出人工智能治理和监管的原则。相较于严格监管，美国更强调维护和促进人工智能技术的创新发展。由于目前尚无联邦层级的人工智能法律与规定，且各州有独立的立法权，导致美国目前缺乏统一的人工智能治理原则或法规。2023年10月30日，美国总统拜登签署颁布《关于安全、可靠、可信地开发和使用人工智能的行政命令》（Executive Order on the Safe, Secure, and Trustworthy Development and Use of Artificial Intelligence），其重点也在于强调人工智能发展的重要性。

欧盟对于人工智能的治理原则重在维护人权与伦理。欧盟在2019年发布《可信AI 伦理指南》（Ethics Guidelines for Trustworthy AI），提出人工智能监管的四大准则，分别是：尊重人类自主权、预先防止危害、保障公平、确保运用的可解释性。2024年8月1日，欧盟《人工智能法案》正式施行，其规定人工智能的六大治理原则为：明确人类代理和监督权力、确保技术稳健性和安全性、保护隐私和数据安全、确保透明性、遵守非歧视和公平性原则、运用重视社会和环境福祉。

从欧盟的人工智能治理原则来看，人权与伦理是其关注重点。例如，“明确人类代理和监督权利原则”强调人工智能的开发和部署应最大限度地减少意外和损害，确保在出现意外问题时，人工智能能确保稳健性并防止恶意第三方操纵人工智能伤害人类。又如，“遵守非歧视和公平性原则”则强调人工智能系统的开发和使用必须促进性别平等和文化多样性，同时避免出现欧盟或国家法律禁止的歧视性影响和不公平偏见。

我国人工智能的治理原则更加强调安全与责任。早在2019年，国家新一代人工智能治理专业委员会便印发了《新一代人工智能治理原则——发展负责任的人工智能》[5]，提出了“和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理”的八大人工智能治理原则。本次发布的《框架》在2023年《倡议》所提出的“坚持发展和安全并重”指导精神下，以鼓励人工智能创新发展为第一要务，以有效防范化解人工智能安全风险为出发点和落脚点，提出了四项治理原则：

一是包容审慎、确保安全。《框架》要求：“鼓励发展创新，对人工智能研发及应用采取包容态度。严守安全底线，对危害国家安全、社会公共利益、公众合法权益的风险及时采取措施。”《框架》对安全的重视是对《倡议》中“坚持发展与安全并重”原则的严格落实。

二是风险导向、敏捷治理。《框架》要求：“密切跟踪人工智能研发及应用趋势，从人工智能技术自身、人工智能应用两方面分析梳理安全风险，提出针对性防范应对措施。关注安全风险发展变化，快速动态精准调整治理措施，持续优化治理机制和方式，对确需政府监管事项及时予以响应。”应当指出的是，《框架》对人工智能的相关风险进行了全面的梳理，下文将就此进行详述。

三是技管结合、协同应对。《框架》要求：“面向人工智能研发应用全过程，综合运用技术、管理相结合的安全治理措施，防范应对不同类型安全风险。围绕人工智能研发应用生态链，明确模型算法研发者、服务提供者、使用者等相关主体的安全责任，有机发挥政府监管、行业自律、社会监督等治理机制作用。”

四是开放合作、共治共享。《框架》要求：“在全球范围推动人工智能安全治理国际合作，共享最佳实践，提倡建立开放性平台，通过跨学科、跨领域、跨地区、跨国界的对话和合作，推动形成具有广泛共识的全球人工智能治理体系。”我国此前在2023年11月初于英国举行的首届人工智能安全峰会上联署了《布莱切利宣言》[6]，其指出从人工智能技术的本质和运用来看，人工智能带来的风险是国际性的，人工智能的治理应强化国际合作。《框架》将“开放合作、共治共享”列为人工智能治理原则，体现了我国在人工智能监管对国际合作的重视，体现了大国的责任与担当。

值得注意的是，2024年5月14日，中美人工智能政府间对话首次会议在瑞士日内瓦举行，双方围绕人工智能科技风险、全球治理等各自关切的问题交换了意见。此次会议是落实中美元首旧金山会晤共识的重要举措，标志着双方人工智能政府间对话机制的正式建立[7]。

二、全面梳理人工智能风险

近年来人工智能已在多个领域引起变革，与之相伴随的是，对人工智能运用中算法风险、数据风险、可能危害人类等热点的讨论热度上升，但境内外官方机构此前并未对人工智能所面临的风险进行全面分类。我们此前在2024年2月5日发布的报告《人工智能监管立法将迎里程碑——评欧盟〈人工智能法案〉达成一致》[8]中指出，欧盟《人工智能法案》从风险的角度出发，将人工智能系统分为风险不可接受（Unacceptable risk）、高风险（High Risk）、风险有限（Limited Risk）、风险最小（Minimal risk）四类风险等级。应当指出的是，欧盟《人工智能法》虽然将人工智能按照潜在风险等级分为撕裂，但并未对人工智能运用所面临的具体风险进行梳理和分类。

《框架》按照风险管理的理念，紧密结合人工智能的技术特性，全面梳理了人工智能风险，具体可以分为两大类七小类：

第一类是人工智能内生安全风险，该类风险是伴随人工智能技术出现而固有存在的风险，包括模型算法安全风险、数据安全风险与系统安全风险。

在模型算法安全风险方面，具体涵盖可解释性差的风险、偏见与歧视风险、鲁棒性（Robust，即稳健性）弱风险、被窃取篡改的风险、输出不可靠的风险、对抗攻击的风险。值得注意的有三点：一是可解释性差风险、偏见与歧视风险的存在已被公众广泛认识。前者由算法决策流程的复杂性导致，缺乏严格的逻辑推导使得算法结果难以确切归因；后者则是因为算法输出的结果天然会对人群进行分类或者评分，因此通过预测形成“可比较”结果是人工智能算法的根本目的。因此，上述两类风险的存在在人工智能的运用中难以完全避免。在一定情况下，为了降低算法可解释性风险和偏见风险，监管部门会对算法透明性提出要求，通过模型搭建、训练、推理过程的公开透明，便于公众对模型进行监督，以从侧面减少模型的内在固有风险。二是鲁棒性弱风险与输出不可靠的风险主要集中于以深度神经网络为基础的生成式人工智能领域。我们在2024年6月15日发布的《大模型的逻辑与可行金融应用——2024年中数字金融展望》[9]报告中指出，大模型广泛存在“一本正经地胡说八道”情况，即输出内容与现实不一致或与用户输入不对应，分别对应“事实性幻觉”与“忠实性幻觉”。大模型幻觉给其实际部署带来了重大挑战，并引发了对大模型在现实场景中可靠性的担忧。三是被窃取篡改的风险与对抗攻击风险主要是指人工智能的参数或者训练数据遭到泄露或者外部攻击，导致人工智能出现错误输出甚至故障。

在数据安全风险方面，主要包括四种的风险：一是违规收集使用数据风险，强调在人工智能收集个人数据进行训练时要获取数据权利主体（如个人）的授权与同意，并保障个人数据安全。二是训练数据含不当内容、被“投毒”风险，人工智能的能力来源于训练数据，以大模型为例，训练数据中的低质、虚假、有害内容将使得大模型输出错误内容，大量质量较低的数据甚至是伪造数据，也是造成大模型的输出出现幻觉的原因之一。三是训练数据标注不规范风险，仍以大模型为例，其续写能力与给出满足人类偏好的“优秀”回答需要使用人类标注数据进行微调，标注数据不规范时可能导致训练结果较差和算法歧视。值得注意的是，我国网信办等七部门在2023年7月10日公布的《生成式人工智能服务管理暂行办法》中[10]规定，在生成式人工智能技术研发过程中进行数据标注的，提供者应当制定符合本办法要求的清晰、具体、可操作的标注规则。四是数据泄露风险，即个人数据在训练或应用过程中的泄露风险。例如，大模型可能会“记忆”并在特定输入诱导下泄露训练数据中的个人数据。

在系统安全风险方面，主要风险包括缺陷风险、后门被攻击利用风险、算力安全风险与供应链安全风险。值得注意的是，在当前某些经济体采取出口管制等贸易制裁措施的背景下，算力之争的重要性愈发凸显，其背后涉及到的芯片产业链安全风险尤为突出。

第二，人工智能应用安全风险，是社会在应用人工智能过程中的潜在风险。虽然算法中性，但由于运用算法的过程中存在人为因素，因此算法运用的结果未必中性，该大类风险主要包括网络域安全风险、现实域安全风险、认知域安全风险与伦理域安全风险。应当指出的有三点：

一是网络域安全风险与现实域安全风险均是指错误使用人工智能可能导致的风险，区别在于风险发散范围集中于网络虚拟世界还是现实世界。网络域安全风险主要包括信息内容安全风险、混淆事实、误导用户、绕过鉴权的风险等，现实域安全风险则主要包括诱发传统经济社会安全风险、用于违法犯罪活动的风险、两用物项和技术滥用风险。

二是认知域安全风险主要强调人工智能影响社会认知与共识的风险。一方面，人工智能的过度运用有可能加剧“信息茧房”。此前，部分互联网平台企业已使用个性化推荐算法影响用户获得信息的来源，影响用户的消费、订阅等决策，电商平台、文字内容平台与短视频平台等均存在这一情况。而生成式人工智能未来有能力定制化生成相应内容，进一步加剧“信息茧房”。另一方面，人工智能有被用于开展认知战的风险。根据媒体报道，此前曾有疑似运用人工智能干预国外大选的案例出现[11]。在特定情况下，生成式人工智能还可能被利用于制作传播虚假新闻、图像、音频、视频等扭曲社会认知，影响社会稳定。

三是伦理域安全风险主要强调人工智能对现有社会伦理的影响。一方面，人工智能的运用有可能加剧社会歧视偏见、扩大智能鸿沟、挑战传统社会秩序。另一方面，若人工智能未来脱离人类控制，则也有可能产生更多不可控风险。多位图灵奖得主在Science杂志发表论文指出，人工智能的发展没有理由会在其达到人类水平时放缓或停止，一旦自主人工智能系统开始追求不良目标，人类可能无法有效地控制它们（Bengio et al.,2024）。

应当指出的是，在《框架》给出的风险分类基础上，可以建立量化的人工智能评价系统，或将成为官方对人工智能风险评级的基础。

三、完善人工智能风险的应对措施

针对上述人工智能存在的安全风险，《框架》提出了十条综合防治措施：

一是实施人工智能应用分类分级管理。《框架》提出：“根据功能、性能、应用场景等，对人工智能系统分类分级，建立风险等级测试评估体系。加强人工智能最终用途管理，对特定人群及场景下使用人工智能技术提出相关要求，防止人工智能系统被滥用。”如前所述，欧盟《人工智能法》按照风险程度将人工智能应用分为四类，我国未来也可参考国际经验探索建立更多维度、更完善的人工智能分类分级制度。

二是建立人工智能服务可追溯管理制度。《框架》提出：“对面向公众服务的人工智能系统，通过数字证书技术对其进行标识管理。制定出台人工智能生成合成内容标识标准规范，明确显式、隐式等标识要求，全面覆盖制作源头、传播路径、分发渠道等关键环节，便于用户识别判断信息来源及真实性。”

三是完善人工智能数据安全和个人信息保护规范。《框架》提出：“针对人工智能技术及应用特点，明确人工智能训练、标注、使用、输出等各环节的数据安全和个人信息保护要求。”值得注意的是，数据标注存在一定专业性，不同领域的数据标注有较大差异，不同领域、行业的监管机构或行业协会应牵头制定相应的数据标注标准。此前，2024年2月9日，最高检发表文章指出[12]，数据标注必须坚持客观规范、真实安全，透明可信可解释，人工辅助、权责明晰、权责一致的三大原则。同时，数据标注、人工智能算法测序等业务，并不能直接委托人工训练师，或全权委托于人工智能模型研发企业单位。检察办案的亲历性与法律监督素养，是数据标注规则优化实施的基本保障。

四是构建负责任的人工智能研发应用体系。《框架》提出：“研究提出‘以人为本、智能向善’在人工智能研发应用中的具体操作指南和最佳实践，持续推进人工智能设计、研发、应用的价值观、伦理观对齐。探索适应人工智能时代的版权保护和开发利用制度，持续推进高质量基础语料库和数据集建设，为人工智能安全发展提供优质营养供给。制定人工智能伦理审查准则、规范和指南，完善伦理审查制度。”

五是强化人工智能供应链安全保障。《框架》提出：“推动共享人工智能知识成果，开源人工智能技术，共同研发人工智能芯片、框架、软件，引导产业界建立开放生态，增强供应链来源多样性，保障人工智能供应链安全性稳定性。”值得注意的是，由于大模型“规模定律”（Scaling Law）的存在，模型的计算量与参数量、数据集大小呈线性正相关，而模型的性能由模型计算量决定（Kaplan et al.,2020），因此算力对模型训练的重要性进一步加强。

六是推进人工智能可解释性研究。《框架》提出：“从机器学习理论、训练方法、人机交互等方面组织研究人工智能决策透明度、可信度、纠错机制等问题，不断提高人工智能可解释性和可预测性，避免人工智能系统意外决策产生恶意行为。”应当指出的是，增强人工智能可解释性的工作是统计学界的热点研究方向，不同于计算机领域更看重模型的实际效果，统计学领域对模型的内在逻辑更为重视。未来，统计学或将为人工智能可解释性做出突出贡献。

七是建立人工智能安全风险威胁信息共享和应急处置机制。《框架》提出：“持续跟踪分析人工智能技术、软硬件产品、服务等方面存在的安全漏洞、缺陷、风险威胁、安全事件等动向，协调有关研发者、服务提供者建立风险威胁信息通报和共享机制。构建人工智能安全事件应急处置机制，制定应急预案，开展应急演练，及时快速有效处置人工智能安全威胁和事件。”

八是加大人工智能安全人才培养力度。《框架》提出：“推动人工智能安全教育与人工智能学科同步发展，依托学校、科研机构等加强人工智能安全设计、开发、治理人才的培养，支持培养人工智能安全前沿基础领域顶尖人才，壮大无人驾驶、智能医疗、类脑智能、脑机接口等领域安全人才队伍。”

九是建立健全人工智能安全宣传教育、行业自律、社会监督机制。《框架》提出：“面向政府、企业、社会公用事业单位加强人工智能安全规范应用的教育培训。加强人工智能安全风险及防范应对知识的宣传，全面提高全社会人工智能安全意识。”

十是促进人工智能安全治理国际交流合作。《框架》提出：“积极与各国就人工智能开展合作交流，支持在联合国框架下成立国际人工智能治理机构，协调人工智能发展、安全与治理重大问题。推进APEC、G20、金砖国家等多边机制下的人工智能安全治理合作，加强与共建“一带一路”国家、“全球南方”国家合作，研究成立人工智能安全治理联盟，增强发展中国家在全球人工智能治理中的代表性和发言权。”值得注意的是，虽然欧盟在人工智能的立法走在全球前列，但当前全球人工智能企业主要位于中、美两国，因此中美两国未来也将成为决定人工智能国际监管走向的重要相关方。

此外，与上述十条综合措施相配合，针对具体的人工智能安全风险，《框架》还详细给出了具体技术应对，可以作为人工智能风险防控的工具书。例如，针对内生安全风险中的系统安全风险，可以采取对人工智能技术和产品的原理、能力、适用场景、安全风险适当公开，对输出内容进行明晰标识，不断提高人工智能系统透明性等方式进行应对。应当指出的是，目前国内主流内容分享平台已经要求对人工智能生成的内容进行清晰标注，以避免影响公众判断。

四、给出人工智能开发与应用指引

在人工智能行业中，主要的参与方可以分为模型算法研发者、人工智能服务提供者、人工智能服务应用者三大类，《框架》分别对其在参与人工智能行业需要尽到的责任与义务给出指引。

一是模型算法研发者。从我国实践来看，模型算法研发者通常为互联网企业。以大模型企业为例，据媒体报道[13]，截至2024年7月30日，我国境内已有197个生成式人工智能企业通过网信办备案。作为人工智能的研发者，其在模型搭建、训练数据的选取、模型目标的设置等方面拥有最大的话语权，同样也将为人工智能的风险承担最主要责任。《框架》指出，研发者应从模型的搭建、训练数据的安全与个人信息的保护、算法价值观的选择、安全评估测试等方面做好人工智能的风险防控。

二是人工智能服务提供者。从我国实践来看，大部分人工智能研发企业面向企业端，而非直接面向客户端，因此真正使用人工智能运用且面向终端客户的，往往是采购人工智能算法和应用的企业。以大模型为例，金融、医疗、汽车等行业是大模型的主要应用领域，相关行业的企业也是大模型的主要采购方，正是《框架》所提到的主要人工智能服务提供者。对于人工智能服务者来说，应对去在提供人工智能服务时保障用户权益负主要责任。《框架》指出，人工智能服务提供者应向用户尽到告知、请求同意、人工智能说明等义务，还应评估人工智能产品与服务在面临故障、攻击等异常条件下抵御或克服不利条件的能力，防范出现意外结果和行为错误，确保最低限度有效功能。

三是人工智能服务应用者，该类主体可以分为重点领域使用者与社会公众，《框架》分别对这两类主体做出应用指引。对于政府部门、关键信息基础设施以及直接影响公共安全和公民生命健康安全的领域等重点领域使用者来说，应审慎评估目标应用场景采用人工智能技术后带来的长期和潜在影响，开展风险评估与定级，避免技术滥用。对于社会公众，《框架》指出，其不仅应当提高对人工智能产品安全风险的认识，还应该提高个人信息保护意识，同时关注潜在网络安全风险。

参考文献：

（1）Bengio, Y., Hinton, G., Yao, A., Song, D., Abbeel, P., Darrell, T., Harari, Y. N., Zhang, Y.-Q., Xue, L., Shalev-Shwartz, S., Hadfield, G., Clune, J., Maharaj, T., Hutter, F., Baydin, A. G., McIlraith, S., Gao, Q., Acharya, A., Krueger, D., … Mindermann, S. (2024). Managing extreme AI risks amid rapid progress. Science, 384(6698), 842–845. https://doi.org/10.1126/science.adn0117

（2）Kaplan, J., McCandlish, S., Henighan, T., Brown, T. B., Chess, B., Child, R., ... Amodei, D. (2020). Scaling laws for neural language models. arXiv preprint arXiv:2001.08361.

注：[1]资料来源：网信办，《人工智能安全治理框架》1.0版发布，EB/OL，2024/9/9[2024/9/10]，https://www.cac.gov.cn/2024-09/09/c_1727567886199789.htm。[2]资料来源：网信办，全球人工智能治理倡议，EB/OL，2023/10/18[2024/9/10]，https://www.cac.gov.cn/2023-10/18/c_1699291032884978.htm。[3]https://app.cibresearch.com/shareUrl?name=402388a08b8458b3018b98d13d344f6d[4]https://app.cibresearch.com/tiptap_web/index.html#/shareUrl?id=d813f8a9cbbf289caca7dc0483169394from=app[5]资料来源：中国政府网，发展负责任的人工智能：我国新一代人工智能治理原则发布，EB/OL，2019/6/17[2024/9/10]，https://www.gov.cn/xinwen/2019-06/17/content_5401006.htm。[6]资料来源：英国政府官网，The Bletchley Declaration by Countries Attending the AI Safety Summit，EB/OL，2023/11/1[2024/9/10]，https://www.gov.uk/government/publications/ai-safety-summit-2023-the-bletchley-declaration/the-bletchley-declaration-by-countries-attending-the-ai-safety-summit-1-2-november-2023。[7]资料来源：新华网，确保全人类安全是中美人工智能对话应有的初心，EB/OL，2024/5/17[2024/9/10]，http://www.xinhuanet.com/world/20240517/748f8a4463ad4d14a1b9fff70001b37a/c.html。[8]https://app.cibresearch.com/tiptap_web/index.html#/shareUrl?id=d813f8a9cbbf289caca7dc0483169394from=appappVersion=5.2.8。[9]https://app.cibresearch.com/tiptap_web/index.html#/shareUrl?id=9695e48d396046086724e9524907525bfrom=app。[10]资料来源：中国政府网，《生成式人工智能服务管理暂行办法》，EB/OL，2023/7/10[2024/9/10]，https://www.gov.cn/zhengce/zhengceku/202307/content_6891752.htm。[11]资料来源：MIT Technology Review，AI’s impact on elections is being overblown，EB/OL，2024/9/3[2024/9/10]，https://www.technologyreview.com/2024/09/03/1103464/ai-impact-elections-overblown/。[12]资料来源：最高检官网，制定数据标注规则必须坚持“三个原则”，EB/OL，2024/2/9[2024/9/10]，https://www.spp.gov.cn/spp/llyj/202402/t20240209_643355.shtml。[13]资料来源：中国工信新闻网，网信办备案AI大模型数量已达197 行业大模型占比近70％，EB/OL，2024/8/22[2024/9/10]，https://www.cnii.com.cn/rmydb/202408/t20240822_595284.html。

★