央广网北京10月9日消息（记者齐智颖）今年两次中央政治局会议提及“完善人工智能治理”，面对汹涌而至的人工智能革命，我国正抛弃“先发展、后治理”的旧惯性，转向了“边发展、边治理”的新模式。
日前，2026年国家网络安全宣传周开幕式在山东济南举行。《人工智能安全治理框架》3.0、《2026年人工智能技术赋能网络安全应用测试结果》、消费类网联摄像头网络安全标识备案产品等一系列网络安全领域重要成果在开幕式上发布。
宣传周期间，央广财经专访了上海人工智能实验室主任助理、领军科学家胡侠，上海人工智能实验室青年研究员孟令宇，长亭科技创始人兼CEO朱文雷，长亭AI实验室负责人苏莉娅等，各位专家从技术风险、攻防实战、产业落地、前沿科研等多个维度，剖析当前AI产业面临的现实挑战，探寻技术创新与安全防护并行的发展路径。
直面多重风险：内生缺陷与衍生威胁交织叠加
随着大模型、AI智能体加速走进千行百业，AI风险不再只是实验室的理论探讨，而是已经转化为实实在在的产业与社会风险。胡侠将AI风险划分为内生固有风险和外部衍生风险两大类别。
内生风险源于大模型底层技术特性。基于Transformer架构的大模型依靠概率生成输出，幻觉、答案不可控属于与生俱来的问题。当智能体能力持续提升之后，新的风险随之显现：很多业务任务目标清晰，但模型行为边界、权限范围很难清晰界定，容易产生失控隐患。
除去模型自身问题，AI带来的衍生风险也悄然而至。一类是AI赋能网络攻击，攻击门槛更低速度更快；另一类是AI降低了高危技术制造门槛。
应对复杂风险，上海人工智能实验室兼顾内生安全和衍生安全，一方面研究在保证模型智能的前提下让模型行为可追溯、可审计，以及在数据训练阶段注入社会价值观与行为规范，在输入、输出层面形成全方位安全约束；另一方面关注智能体自身风险与智能体工具的滥用风险，探索智能体展现出强大能力后，如何在直接面向用户的应用场景中，保证过程可验证、安全有保障。
产业实战层面，长亭科技提出“架构韧性”的防御思路。通过搭建多层次防护体系，重点阻隔攻击者内网横向移动路径，对核心业务资产做隔离防护，做到风险早发现、早处置，把安全事件的损失控制在最小范围。落实“以AI治AI、以AI防AI”理念，参照自动驾驶，分级打造AI安全运营体系，由AI智能体完成日志告警汇总、多设备事件关联研判，将原本人工一整天的排查工作压缩至半小时，用智能化防御对抗AI驱动的新型攻击。
“安全不是95分到98分的优化，而是0到1的底线问题。”胡侠强调，一旦安全失守，再优秀的模型性能都会直接归零。
AI风险正在重塑网络安全攻防格局。苏莉娅指出，AI完整改写了传统网络攻击链路，从漏洞挖掘、入侵入口、内网横向移动到长期控制目标资产，攻击者借助AI大幅降低技术门槛，攻击迭代速度远超防御侧更新节奏。传统依靠边界防护、人工7×24小时值守的防御模式已经难以为继。同时，AI还拉低高危科学技术的获取门槛，过去需要专业团队、大量资金才能够开展的研究推演，如今普通个体就可以借助AI完成，衍生出新的安全挑战。
落地框架要求：产学研合力打通AI安全最后一公里
《人工智能安全治理框架》3.0为行业给出顶层指引，但标准条文落地到企业真实业务场景，依然存在不少现实堵点。不少企业存在认知误区，认为上线前完成一次安全检测，就可以一劳永逸。
朱文雷表示，现阶段行业还不存在一套能够适配全部场景的通用安全产品，企业AI安全建设需要立足实战、务实推进。首先做到风险认知先行，在接入大模型与智能体之前开展风险评估，提前识别业务系统潜在隐患；其次严格落实权限隔离，业务系统权限和AI模型系统相互独立，权限决策不能交由AI自主完成，即便智能体出现异常，风险也被锁在人为划定边界之内；坚持数据最小授权，按照员工身份粒度分配数据访问权限，绝不把完整权限直接交给AI智能体。企业应当坚持先实践、先试用，在真实业务运行中暴露风险，再针对性迭代安全防护能力。
对话中，专家还对AI for Science赛道展开讨论。AI Coding的成功，验证大模型具备处理高复杂度逻辑任务的能力。行业可以把网络攻防、科学实验领域里专家沉淀的经验，转化为可复用的数据资产，实现知识的工业化传承。数学推理这类闭环科研领域，不需要实体实验配套，有望成为AI for Science的下一个重要突破口；新药、新材料研发受实体实验周期约束，落地节奏会相对缓慢。
无论赛道如何演进，安全始终是绕不开的前提。围绕《人工智能安全治理框架》3.0 落地，专家对不同主体给出明确建议：大模型研发方需要建立内部安全机制，联合安全企业，在训练、发布环节落实安全检测，满足可追溯、可审计、事故可处置的条件之后再对外发布模型，可以借鉴海外风控委员会审核放行的模式，并结合国内产业生态优化调整；企业作为AI使用方，部署大模型前应当主动开展安全审计“全面体检”，切忌盲目上线AI业务。
针对行业热点，嘉宾谈到，AI发展节奏的调整，应当是国家层面多方协商的结果，单方面呼吁放缓AI发展，不排除掺杂商业竞争因素。AI没有实体可核查的特征，全球AI治理需要探索全新协同模式。对于海外单方面提出的数据相关指控，单方披露的证据很难还原完整事实，国内行业公开技术报告互相参考属于常态，社会应当理性看待。
专家同时提示广大使用者，要摆脱把AI当成搜索引擎的固有思维，正视AI幻觉风险，认清AI的能力边界。AI提示词劫持、AI客服被套话等现实案例提醒全社会，无论是企业还是普通用户，都必须建立AI使用边界意识。
AI安全治理不是单一机构能够完成的任务，需要科研院所、安全企业、大模型厂商、行业用户以及监管部门多方协同。本次专访之后，上海人工智能实验室和长亭AI实验室将持续推进AI安全产学研联动，推动治理框架理念转化为可落地的技术能力与行业实践，护航AI产业安全健康发展。
（文章来源：央广财经）
央广网北京10月9日消息（记者齐智颖）今年两次中央政治局会议提及“完善人工智能治理”，面对汹涌而至的人工智能革命，我国正抛弃“先发展、后治理”的旧惯性，转向了“边发展、边治理”的新模式。
日前，2026年国家网络安全宣传周开幕式在山东济南举行。《人工智能安全治理框架》3.0、《2026年人工智能技术赋能网络安全应用测试结果》、消费类网联摄像头网络安全标识备案产品等一系列网络安全领域重要成果在开幕式上发布。
宣传周期间，央广财经专访了上海人工智能实验室主任助理、领军科学家胡侠，上海人工智能实验室青年研究员孟令宇，长亭科技创始人兼CEO朱文雷，长亭AI实验室负责人苏莉娅等，各位专家从技术风险、攻防实战、产业落地、前沿科研等多个维度，剖析当前AI产业面临的现实挑战，探寻技术创新与安全防护并行的发展路径。
直面多重风险：内生缺陷与衍生威胁交织叠加
随着大模型、AI智能体加速走进千行百业，AI风险不再只是实验室的理论探讨，而是已经转化为实实在在的产业与社会风险。胡侠将AI风险划分为内生固有风险和外部衍生风险两大类别。
内生风险源于大模型底层技术特性。基于Transformer架构的大模型依靠概率生成输出，幻觉、答案不可控属于与生俱来的问题。当智能体能力持续提升之后，新的风险随之显现：很多业务任务目标清晰，但模型行为边界、权限范围很难清晰界定，容易产生失控隐患。
除去模型自身问题，AI带来的衍生风险也悄然而至。一类是AI赋能网络攻击，攻击门槛更低速度更快；另一类是AI降低了高危技术制造门槛。
应对复杂风险，上海人工智能实验室兼顾内生安全和衍生安全，一方面研究在保证模型智能的前提下让模型行为可追溯、可审计，以及在数据训练阶段注入社会价值观与行为规范，在输入、输出层面形成全方位安全约束；另一方面关注智能体自身风险与智能体工具的滥用风险，探索智能体展现出强大能力后，如何在直接面向用户的应用场景中，保证过程可验证、安全有保障。
产业实战层面，长亭科技提出“架构韧性”的防御思路。通过搭建多层次防护体系，重点阻隔攻击者内网横向移动路径，对核心业务资产做隔离防护，做到风险早发现、早处置，把安全事件的损失控制在最小范围。落实“以AI治AI、以AI防AI”理念，参照自动驾驶，分级打造AI安全运营体系，由AI智能体完成日志告警汇总、多设备事件关联研判，将原本人工一整天的排查工作压缩至半小时，用智能化防御对抗AI驱动的新型攻击。
“安全不是95分到98分的优化，而是0到1的底线问题。”胡侠强调，一旦安全失守，再优秀的模型性能都会直接归零。
AI风险正在重塑网络安全攻防格局。苏莉娅指出，AI完整改写了传统网络攻击链路，从漏洞挖掘、入侵入口、内网横向移动到长期控制目标资产，攻击者借助AI大幅降低技术门槛，攻击迭代速度远超防御侧更新节奏。传统依靠边界防护、人工7×24小时值守的防御模式已经难以为继。同时，AI还拉低高危科学技术的获取门槛，过去需要专业团队、大量资金才能够开展的研究推演，如今普通个体就可以借助AI完成，衍生出新的安全挑战。
落地框架要求：产学研合力打通AI安全最后一公里
《人工智能安全治理框架》3.0为行业给出顶层指引，但标准条文落地到企业真实业务场景，依然存在不少现实堵点。不少企业存在认知误区，认为上线前完成一次安全检测，就可以一劳永逸。
朱文雷表示，现阶段行业还不存在一套能够适配全部场景的通用安全产品，企业AI安全建设需要立足实战、务实推进。首先做到风险认知先行，在接入大模型与智能体之前开展风险评估，提前识别业务系统潜在隐患；其次严格落实权限隔离，业务系统权限和AI模型系统相互独立，权限决策不能交由AI自主完成，即便智能体出现异常，风险也被锁在人为划定边界之内；坚持数据最小授权，按照员工身份粒度分配数据访问权限，绝不把完整权限直接交给AI智能体。企业应当坚持先实践、先试用，在真实业务运行中暴露风险，再针对性迭代安全防护能力。
对话中，专家还对AI for Science赛道展开讨论。AI Coding的成功，验证大模型具备处理高复杂度逻辑任务的能力。行业可以把网络攻防、科学实验领域里专家沉淀的经验，转化为可复用的数据资产，实现知识的工业化传承。数学推理这类闭环科研领域，不需要实体实验配套，有望成为AI for Science的下一个重要突破口；新药、新材料研发受实体实验周期约束，落地节奏会相对缓慢。
无论赛道如何演进，安全始终是绕不开的前提。围绕《人工智能安全治理框架》3.0 落地，专家对不同主体给出明确建议：大模型研发方需要建立内部安全机制，联合安全企业，在训练、发布环节落实安全检测，满足可追溯、可审计、事故可处置的条件之后再对外发布模型，可以借鉴海外风控委员会审核放行的模式，并结合国内产业生态优化调整；企业作为AI使用方，部署大模型前应当主动开展安全审计“全面体检”，切忌盲目上线AI业务。
针对行业热点，嘉宾谈到，AI发展节奏的调整，应当是国家层面多方协商的结果，单方面呼吁放缓AI发展，不排除掺杂商业竞争因素。AI没有实体可核查的特征，全球AI治理需要探索全新协同模式。对于海外单方面提出的数据相关指控，单方披露的证据很难还原完整事实，国内行业公开技术报告互相参考属于常态，社会应当理性看待。
专家同时提示广大使用者，要摆脱把AI当成搜索引擎的固有思维，正视AI幻觉风险，认清AI的能力边界。AI提示词劫持、AI客服被套话等现实案例提醒全社会，无论是企业还是普通用户，都必须建立AI使用边界意识。
AI安全治理不是单一机构能够完成的任务，需要科研院所、安全企业、大模型厂商、行业用户以及监管部门多方协同。本次专访之后，上海人工智能实验室和长亭AI实验室将持续推进AI安全产学研联动，推动治理框架理念转化为可落地的技术能力与行业实践，护航AI产业安全健康发展。
（文章来源：央广财经）
