分享好友 资讯首页 频道列表

迭代升级!人工智能安全治理框架 3.0,重新定义 AI 全链条风险管控

2026-09-16 17:2911150

2026 年 9 月,全国网络安全标准化技术委员会在国家网络安全宣传周正式发布《人工智能安全治理框架 3.0》,这是继 1.0、2.0 之后的第三次重要迭代,标志我国人工智能安全治理,正式从 “大模型问答时代” 迈向智能体自主执行时代的治理体系。三年三版框架,体现国内 AI 治理 “小步快跑”,跟随技术演进持续更新风险认知与治理手段。

一、版本迭代:1.0‑2.0‑3.0 核心演进逻辑

重要提示:该框架属于指导性技术框架文件,并非强制国标,为企业、科研机构提供风险图谱、应对措施参考,作为合规建设的重要指引依据。

二、3.0 版本五大核心变化

1. 将智能体、具身智能作为治理重点对象

本次最大亮点,智能体风险独立作为重点附件。智能体可自主调用工具、执行任务,风险不再仅仅是文本生成的错误内容,而是越权操作、行为失控、工具被投毒劫持,风险可以直接传导至现实业务与物理场景。框架明确提出约束要求:智能体需要唯一身份标识、最小权限原则、高危行为强制人工审批、行为全程可审计追溯,防范自主行为带来的失控风险。具身智能(机器人、实体智能设备)的物理安全风险,也被纳入正式风险清单。

2. 提出 “认知供应链安全”,不止管控训练数据

旧版本主要管控模型训练阶段数据集;3.0 把风险延伸到模型运行全过程信息来源:外挂知识库、联网搜索结果、工具返回数据、智能体长期记忆全部纳入管控,提出 “认知供应链” 概念。重点警惕 GEO 投毒风险:攻击者通过批量污染网络公开信息、虚假评测,污染 AI 联网检索获取的外部信息,间接篡改模型推理判断结果。同时新增记忆安全风险,包括记忆被窃取、污染、失真篡改等风险点。

3. 强化开源生态与供应链安全

当前大量行业 AI 应用基于开源模型二次开发,开源组件后门、模型篡改、分发下载环节风险突出。3.0 强化开源模型全生命周期安全管理,对开源下载、二次微调、部署分发明确安全红线,要求企业做好组件溯源、漏洞监测、版本管理,堵住供应链安全漏洞。

4. 风险导向:安全与创新采取动态平衡

框架摒弃静态固定平衡点,倡导动态平衡治理思路:风险等级越高,对应的安全管控措施就越严格;低风险创新应用,保留充分发展空间,避免 “一刀切”,实现促创新和防风险并举。坚持技术手段 + 管理制度并行,技术上完善检测、测评、溯源;管理上压实开发方、部署方、运营方多方主体责任,落实全流程风险管控。

5. 关注 AI 自主网络攻击新型风险

过去版本主要关注 “人利用 AI 做攻击”;3.0 进一步预判风险:警惕 AI 系统自主生成攻击方案、主动实施网络攻击的风险,把 AI 自主攻击行为纳入风险识别,为网络安全防御提前布局。

三、全链条治理思路:覆盖 AI 完整生命周期

框架将安全治理贯穿从源头到落地的完整链路:

  1. 数据层:训练数据、合成数据、外挂知识库、外部检索信息、智能体记忆存储;

  2. 算法模型层:模型训练、微调、开源二次开发,防范后门、偏见、漏洞;

  3. 运行执行层:重点管控智能体规划、工具调用、权限管理、行为审计;

  4. 供应链层:芯片、框架、开源组件、第三方工具;

  5. 应用场景层:面向不同行业做分级风险处置,高风险场景提升防护等级。

四、现实意义与行业启示

  1. 对企业:AI 开发不再只调模型效果,必须建立覆盖认知供应链、智能体行为审计、开源组件安全的合规体系;测评从单纯测 “输出内容”,升级为评估系统行为边界、权限管控、异常行为处置能力。

  2. 对产业:适配 “人工智能 +” 的产业落地,给快速发展的智能体、机器人、行业大模型提供一套可落地的风险检查清单,推动创新不脱离安全底线。

  3. 治理趋势:随着 AI 从生成内容走向执行任务,我国 AI 治理完成从 “管输出” 向 “管行为” 的范式切换,为全球人工智能治理输出实践参考。

从 1.0 到 3.0,框架迭代背后,是 AI 技术能力的跃迁。当人工智能可以自主规划任务、调用工具、作用于现实世界,安全边界就不再局限于文字内容。《人工智能安全治理框架 3.0》回应智能体时代全新挑战,以风险分类分级为抓手,兼顾发展与安全,引导产业走向可信可控的人工智能发展道路。

免责声明:

本网转载并注明自其它来源(非智能装备网)的作品,目的在于传递更多信息,并不代表本网赞同其观点或和对其真实性负责,不承担此类作品侵权行为的直接责任及连带责任。其他媒体、网站或个人从本网转载时,必须保留本网注明的作品第一来源,并自负版权等法律责任。如涉及作品内容、版权等问题,请在发布之日起十五天内与本网联系,否则视为放弃相关权利。

反对 0
举报 0
收藏 0
打赏 0
评论 0

相关资讯

美媒:长鑫存储在先进存储芯片领域实现关键突破,加速冲击全球高端 DRAM 市场
中国存储龙头长鑫存储(CXMT)在先进 DRAM、高带宽内存 HBM 以及新一代高速移动内存上接连取得的技术进展,认为国产存储厂商正在快速打破由三星、SK 海力士、美光长期垄断的全球高端存储格局,全球半导体存储行业的竞争版图或将迎来重塑。

0评论2026-09-0216510

工业自动化迈入边缘人工智能与开放架构驱动的智能时代
工业以太网是智慧工厂底层通信基础,实现 PLC、机器人、人机界面、伺服驱动器与现场传感器之间的数据交互,为边缘 AI 与开放架构落地筑牢网络底座。

0评论2026-08-2030361

自主挖掘漏洞的 AI 已经到来,网络安全攻防格局产生变革
近日,多款具备自主漏洞挖掘能力的人工智能智能体进入大众视野,AI 不再需要人类一步一步下达指令,便可独立扫描系统、搜寻软件缺陷、验证漏洞可行性甚至生成攻击利用代码,标志着网络安全正式迈入机器自主攻防的全新阶段。

0评论2026-08-2030242

世界人工智能大会即将开幕,智能制造成重点展示方向
备受瞩目的世界人工智能大会即将在下月拉开帷幕。据悉,本次大会将设立智能制造专区,集中展示AI技术在工业领域的最新应用成果,包括智能检测、预测性维护、数字孪生、智能排产等多个方向。

0评论2026-08-0347098

AI+工业检测推动制造业质量管控智能化升级
人工智能技术在工业检测领域的应用正日益成熟,AI视觉检测系统已经在电子制造、汽车零部件、半导体等多个行业实现了规模化部署,有效提升了产品检测的准确率和效率。

0评论2026-08-0347352

大模型技术持续迭代,AI应用落地加速推进
2026年,大语言模型技术持续快速迭代,多模态大模型、推理大模型等新方向不断涌现。AI技术在智能制造、医疗健康、教育培训、金融服务等领域的应用落地正在加速推进。

0评论2026-08-0347365

2026 世界人工智能大会在上海圆满落幕,全球 AI 创新与治理迎来里程碑时刻
本届世界人工智能大会暨人工智能全球治理高级别会议打通 “全球治理 — 前沿技术 — 产业落地 — 人才培育” 完整链路,清晰勾勒出 AI“具身、兴业、善治” 的发展主线。

0评论2026-07-2147541

聚焦技术创新与全球共治,2026 世界人工智能大会 7 月 17 日上海启幕
7 月 17 日至 20 日,2026 世界人工智能大会暨人工智能全球治理高级别会议在上海 “三地四馆” 同步举办,大会以 “智能伙伴 共创未来” 为主题。

0评论2026-07-1547470

谷歌投千万美元赋能制造业AI人才 助力4万从业者技能升级
谷歌已向美国制造业协会 (MI) 捐赠 1000 万美元,用于在美国制造业推广人工智能教育和人才培训。这笔资金将用于支持新的人工智能制造课程、免费提供谷歌人工智能专业证书项目,以及将先进制造教育联盟 (FAME) 扩展至另外 15 个地区。

0评论2026-05-1847965