分享好友 资讯首页 频道列表

迭代升级!人工智能安全治理框架 3.0,重新定义 AI 全链条风险管控

2026-09-16 17:29514910

2026 年 9 月,全国网络安全标准化技术委员会在国家网络安全宣传周正式发布《人工智能安全治理框架 3.0》,这是继 1.0、2.0 之后的第三次重要迭代,标志我国人工智能安全治理,正式从 “大模型问答时代” 迈向智能体自主执行时代的治理体系。三年三版框架,体现国内 AI 治理 “小步快跑”,跟随技术演进持续更新风险认知与治理手段。

一、版本迭代:1.0‑2.0‑3.0 核心演进逻辑

重要提示:该框架属于指导性技术框架文件,并非强制国标,为企业、科研机构提供风险图谱、应对措施参考,作为合规建设的重要指引依据。

二、3.0 版本五大核心变化

1. 将智能体、具身智能作为治理重点对象

本次最大亮点,智能体风险独立作为重点附件。智能体可自主调用工具、执行任务,风险不再仅仅是文本生成的错误内容,而是越权操作、行为失控、工具被投毒劫持,风险可以直接传导至现实业务与物理场景。框架明确提出约束要求:智能体需要唯一身份标识、最小权限原则、高危行为强制人工审批、行为全程可审计追溯,防范自主行为带来的失控风险。具身智能(机器人、实体智能设备)的物理安全风险,也被纳入正式风险清单。

2. 提出 “认知供应链安全”,不止管控训练数据

旧版本主要管控模型训练阶段数据集;3.0 把风险延伸到模型运行全过程信息来源:外挂知识库、联网搜索结果、工具返回数据、智能体长期记忆全部纳入管控,提出 “认知供应链” 概念。重点警惕 GEO 投毒风险:攻击者通过批量污染网络公开信息、虚假评测,污染 AI 联网检索获取的外部信息,间接篡改模型推理判断结果。同时新增记忆安全风险,包括记忆被窃取、污染、失真篡改等风险点。

3. 强化开源生态与供应链安全

当前大量行业 AI 应用基于开源模型二次开发,开源组件后门、模型篡改、分发下载环节风险突出。3.0 强化开源模型全生命周期安全管理,对开源下载、二次微调、部署分发明确安全红线,要求企业做好组件溯源、漏洞监测、版本管理,堵住供应链安全漏洞。

4. 风险导向:安全与创新采取动态平衡

框架摒弃静态固定平衡点,倡导动态平衡治理思路:风险等级越高,对应的安全管控措施就越严格;低风险创新应用,保留充分发展空间,避免 “一刀切”,实现促创新和防风险并举。坚持技术手段 + 管理制度并行,技术上完善检测、测评、溯源;管理上压实开发方、部署方、运营方多方主体责任,落实全流程风险管控。

5. 关注 AI 自主网络攻击新型风险

过去版本主要关注 “人利用 AI 做攻击”;3.0 进一步预判风险:警惕 AI 系统自主生成攻击方案、主动实施网络攻击的风险,把 AI 自主攻击行为纳入风险识别,为网络安全防御提前布局。

三、全链条治理思路:覆盖 AI 完整生命周期

框架将安全治理贯穿从源头到落地的完整链路:

  1. 数据层:训练数据、合成数据、外挂知识库、外部检索信息、智能体记忆存储;

  2. 算法模型层:模型训练、微调、开源二次开发,防范后门、偏见、漏洞;

  3. 运行执行层:重点管控智能体规划、工具调用、权限管理、行为审计;

  4. 供应链层:芯片、框架、开源组件、第三方工具;

  5. 应用场景层:面向不同行业做分级风险处置,高风险场景提升防护等级。

四、现实意义与行业启示

  1. 对企业:AI 开发不再只调模型效果,必须建立覆盖认知供应链、智能体行为审计、开源组件安全的合规体系;测评从单纯测 “输出内容”,升级为评估系统行为边界、权限管控、异常行为处置能力。

  2. 对产业:适配 “人工智能 +” 的产业落地,给快速发展的智能体、机器人、行业大模型提供一套可落地的风险检查清单,推动创新不脱离安全底线。

  3. 治理趋势:随着 AI 从生成内容走向执行任务,我国 AI 治理完成从 “管输出” 向 “管行为” 的范式切换,为全球人工智能治理输出实践参考。

从 1.0 到 3.0,框架迭代背后,是 AI 技术能力的跃迁。当人工智能可以自主规划任务、调用工具、作用于现实世界,安全边界就不再局限于文字内容。《人工智能安全治理框架 3.0》回应智能体时代全新挑战,以风险分类分级为抓手,兼顾发展与安全,引导产业走向可信可控的人工智能发展道路。

免责声明:

本网转载并注明自其它来源(非智能装备网)的作品,目的在于传递更多信息,并不代表本网赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品第一来源,并自负版权等法律责任。如涉及作品内容、版权等问题,请在发布之日起十五天内与本网联系,否则视为放弃相关权利。

反对 0
举报 0
收藏 0
打赏 0
评论 0

相关资讯

AI排产进离散工厂:数据打通比算法更难
越来越多离散制造工厂尝试用AI排产提升设备利用率,但落地的真正瓶颈在数据而非算法。本文从设备层数据采集、人机协同机制到落地节奏,给出三条实操建议。

0评论2026-11-012718

备件需求预测接入算法之前,先把偶发失效这一类说清楚
不少企业尝试用算法预测备件消耗,结果误差指标好看但库存并未下降。文章指出备件消耗属于低频间歇序列,必须先按易损件、偶发失效件、长周期件分类,再决定用什么方法。

0评论2026-10-304763

大模型进车间:设备故障诊断知识库怎么建才不“翻车”
不少工厂尝试用大模型整理设备故障案例和维修知识,效果参差不齐。本文讨论故障知识库建设的常见误区,以及与备件台账结合的可行做法。

0评论2026-10-286802

AI视觉质检落地,成像与传感备件为何仍是成败关键
AI视觉质检的瓶颈常常不在算法,而在成像与触发环节。本文讨论工业相机、镜头、光源与传感器等欧美品牌备件的选型要点,以及备件批次差异对模型稳定性的影响。

0评论2026-10-268891

AI 算力缺口或达 1.5 万亿美元:万亿资本压力下,全球开启算力融资大考
1.5 万亿美元融资缺口,代表的是 AI 时代的时代命题:算力已经成为数字时代的关键战略基础设施,但算力建设不再是单纯企业投入行为,它牵扯资本金融、芯片制造、能源供给、产业商业化等多重体系。

0评论2026-10-1520898

美媒:长鑫存储在先进存储芯片领域实现关键突破,加速冲击全球高端 DRAM 市场
中国存储龙头长鑫存储(CXMT)在先进 DRAM、高带宽内存 HBM 以及新一代高速移动内存上接连取得的技术进展,认为国产存储厂商正在快速打破由三星、SK 海力士、美光长期垄断的全球高端存储格局,全球半导体存储行业的竞争版图或将迎来重塑。

0评论2026-09-0266670

工业自动化迈入边缘人工智能与开放架构驱动的智能时代
工业以太网是智慧工厂底层通信基础,实现 PLC、机器人、人机界面、伺服驱动器与现场传感器之间的数据交互,为边缘 AI 与开放架构落地筑牢网络底座。

0评论2026-08-2080452

自主挖掘漏洞的 AI 已经到来,网络安全攻防格局产生变革
近日,多款具备自主漏洞挖掘能力的人工智能智能体进入大众视野,AI 不再需要人类一步一步下达指令,便可独立扫描系统、搜寻软件缺陷、验证漏洞可行性甚至生成攻击利用代码,标志着网络安全正式迈入机器自主攻防的全新阶段。

0评论2026-08-2080065

世界人工智能大会即将开幕,智能制造成重点展示方向
备受瞩目的世界人工智能大会即将在下月拉开帷幕。据悉,本次大会将设立智能制造专区,集中展示AI技术在工业领域的最新应用成果,包括智能检测、预测性维护、数字孪生、智能排产等多个方向。

0评论2026-08-0396654