AI安全：政策解读与风险防控

本课以"政策开路→大模型安全→智能体安全→治理落地"为推演主线。第 一讲锁住中国AI监管架构的顶层规划和核心政策，阐明合规底线和执法趋势；第二至四讲纵深剖析大模型安全隐患，从政策合规、模型漏洞、内容安全三维度构筑系统认知；第五至六讲延伸至AI智能体安全，揭示轮廓层、生态层、决策层的的新型威胁；第七讲从公司实践角度给出可落地的安全治理轮廓和应急制度；第八讲回顾课程核心要点并开放答疑。

一、为何AI安全已成公司必修课

1. 从"野蛮生长"到"合规元年"：2025-2026年监管转向

2. AI首次入法：《网络安全法》修正案第二十条核心解读

3. 中国AI治理推演："小切口立法+敏捷治理"和欧盟AI法案的路径差异

二、中国AI监管架构的三层架构

1. 法律层：网络安全法、资料安全法、个人资讯保护法"三法联动"

2. 部门规章层：生成式AI办法，算法推荐规定、深度合成规定的适用范围和义务边界

3. 准则层：GB/T 45654-2025安全评核国标、内容标识强标、伦理审查办法

三，2025-2026年重点新规精读

1. 《机器智能生成合成内容标识办法》（2025年9月施行）：显式标识/隐式标识/传播核验义务全解

2. 《机器智能拟人化交流服务管控暂行办法》（2026年7月15日施行）：情感交流AI的专项限制

3. 《智能体规范运用和革新演进施行意见》（网信办2026年5月）：分类分级治理轮廓

四、执法趋势和典型处罚实例

1. "清朗·整治AI技艺滥用"专项行动（2025年4-7月）：整治重点和处罚尺度

2. 大模型备案"双轨制"：备案vs.登记的适用情境和办理流程

3. 未备案、未标识的典型处罚实例和合规成本测算

一、大模型备案：谁需要做，做些什么

1. 双备案制：算法备案（深度合成规定）+ 生成式AI服务备案的触发条件

2. 备案核心材料清单：安全评核报告、语料标注规则、拦截要害词列表、评核测试题集

3. 截至2026年4月的备案资料：868款完成备案、530款完成登记，省份分布特征

二、训练资料安全：从来源到标注的全链条隐患

1. 资料投毒攻击：训练语料中的后门植入和检测办法

2. 歧视性内容：民族、信仰、性别歧视的合规红线和过滤制度

3. 个人资讯合规：用户资料采集、采用的最小必要要则和告知同意要求

4. 资料出境合规：模型训练资料跨境流动的监管要求

三、语料标注安全和质量将控

1. 标注规则拟定：覆盖17类安全隐患的要害词架构构筑（建议≥1万词）

2. 标注质量将控：防止标注人员引入主观偏差的制度规划

3. 评核测试题集：31类隐患情境的测试用例规划

一、模型安全：对抗攻击和后门防御

1. 对抗样本攻击：大模型输出被恶意干扰的原理和防御路径

2. 模型后门：预训练阶段植入的后门触发制度和检测办法

3. 模型蒸馏安全：学识蒸馏进程中的资料泄露隐患

二、内容安全：生成内容的合规红线和风控架构

1. 生成内容禁止项：颠覆政权，分裂国家、恐怖主义、虚假有害资讯等等

2. 深度伪造隐患：人脸生成、人声克隆的专项管控要求

3. 内容风控系统建设：实时拦截，事后处置、留存记录的完整闭环

4. AI幻觉治理：拉升生成内容准确性和可靠性的技艺手段

三、跨境合规和学识产权

1. 外商投资AI服务的准入要求

2. 生成内容的版权归属争议和裁判规则

3. 商业秘密保护：大模型训练和运用中的保密义务

一、公司AI安全合规架构建设

1. AI生命周期五阶段合规要点：立项诉求→研发测试→部署营运→市场推广→退出处置

2. AI安全评核：何时必须做、怎么做、谁来做

3. 伦理审查制度：哪些情境需要专家复核，怎样和备案制度衔接

二、标志性合规抓手和实操

1. 拦截要害词列表的持续更新制度

2. 安全应急响应：《生成式机器智能服务安全应急响应指南》解读

3. 投诉举报和辟谣制度建设

三、公司合规成本和隐患收益拆解

1. 合规投入测算：备案成本、人力成本、技艺改造成本

2. 违规代价：处罚类型（警告，通报批评、暂停服务）和社会声誉损失

3. 合规本领的商业价值：将合规作为竞争优势的打法

一、AI智能体的安全威胁全景

1. 为何Agent带来新的安全挑战：自主决策、抓手调用、长期运行

2. 智能体安全和纯大模型安全的本质区别：交互性、主动性、系统性

二、轮廓层安全：开发轮廓的典型漏洞

1. LangChain等等主流轮廓的命令注入、任意文件读写漏洞（CVE-2025系列）

2. 本地请求攻击（PNA）：服务绑定0.0.0.0的隐患和正确配置

3. 开源轮廓的供给链安全：怎样评核第三方组件的安全性

三、生态层安全：多定位信任危机

1. MCP/A2A协议隐患：准则接口被篡改、抓手描述被植入隐藏指令

2. 调用链隐患互嵌：大模型→Agent→抓手→外部服务的信任传递问题

3. 多Agent协同情境：差事分解和指令传递中的资讯失真隐患

一、决策层安全：自主决策的失控隐患

1. 标的漂移（Goal Drift）：Agent行为偏离原始指令的制度和实例

2. 对抗攻击下的决策误导：环境反馈被攻击者利用的路径

3. 记忆篡改：学识、规则、记忆被污染导致的业务决策错误

二，具身智能安全：物理世界的连锁隐患

1. 感知装置的资料隐私：摄像头、麦克风采集的生物特征保护

2. 执行器被劫持：机器人，自动驾驶系统的物理伤害隐患

3. 责任归属：算法决策失误引发的人身伤害怎样追责

三、供给链安全和新兴情境隐患

1. 智能体供给链安全：模型接入、API调用、扩展抓手的全周期规范

2. 智能体被滥用：自动化攻击、网络诈骗、虚假资讯生成的防范

3. 数字虚拟人安全：虚拟主播、AI演员的标识义务和真人权益保护

一、分类分级治理：从监管到公司自评

1. 敏感领域（医疗、金融、交通、媒体）的专项管控要求

2. 低隐患情境（生活娱乐、日常办公）的合规自测和资讯报告

3. 公司内部AI安全分级评核办法

二、AI安全管将控度建设

1. 组织架构：AI伦理委员会或者合规队伍的设置和运作

2. 制度规划：用户注册、内容审核、资料安全、应急处置的全套制度

3. 技艺措施：规则内嵌、行为围栏、区块链溯源的技艺达成路径

三、AI安全应急响应制度

1. 安全经过分类分级：重大/较大/一般的判定准则

2. 应急处置流程：发现→上报→处置→整改→收束的闭环

3. 向网信部门报告的触发条件、时限和渠道

四、以AI治理AI：智能化安全抓手的运用

1. 对抗样本检测、行为异常检测等等安全和治理抓手

2. AI生成内容的自动化标识和核验系统

3. 安全大模型在威胁情报和隐患预测中的运用前景

一、课程核心要点回顾

1. 中国AI监管架构的"法律—规章—准则"三层架构

2. 大模型安全：备案合规是底线，资料安全是核心，内容风控是常态

3. 智能体安全：轮廓层防漏洞，生态层管调用，决策层控漂移

4. 公司落地：分类分级是办法，应急制度是保障，信念建设是根本

二、交流答疑

针对参训者所在公司的具体AI运用情境，提供合规建议和隐患评核参考

说明1：本大纲以1天（6小时）为基准，就一线经验说，如需半天版本可精压缩至四讲，保留第 一讲政策轮廓、次讲大模型安全、三讲智能体安全、第七讲治理落地四个核心板块，在实际应用里，其余内容作为延伸阅读材料提供。

说明2：课程中涉及的备案流程、评核材料清单等等实操内容，将根据最 新政策动态在授课前更新补充。

老师简介

Introduction to lecturers

弄懂更多

博闻智咨询|焦波老师