智守AI时代：生成式AI安全治理、技术防护与办公风险实战

第 一讲：开篇——AI安全治理新形势和政策合规轮廓

课程导入：为何AI安全成为组织级必修课

1. AI从个人抓手走向组织级运用

——办公、研发、客服、营销、资料拆解、安全营运和学识库情境

2. AI安全的“双刃剑”特征：效率拉升和隐患扩散同步发生

典型问题：员工随手上传文件，AI生成内容误用、内部学识库越权访问、AI Agent自动执行错误操作

一，AI基础概述

1. AI核心概念

1）机器研习

2）深度研习理论和运用轮廓

2. 大语言模型基础

1）大语言模型技艺和运用

2）AI在网络安全中赋能运用

二、国内AI安全政策和监管主线

1. 生成式机器智能服务管控要求

从安全评核、算法备案、内容治理等等个方向指定管控要求和规章制度

2. 深度合成和AI生成合成内容标识

1）显式标识、隐式标识

2）资料追溯

3. 资料安全和个人资讯保护要求

1）训练资料

2）资料流转

3）资料共享

三、AI安全治理轮廓：从“能不能用”到“怎样安全用”

1. 组织治理

1）职责分工

2）制度红线

3）流程审批

2. 资料治理

1）资料分类分级

2）敏感资料识别、脱敏

3）权限管控

4）身份之别

3. 技艺治理

1）安全测试

2）访问将控

3）日志审计

4）DLP

5）API安全监测

4. 人员治理

——对办公人员在采用AI进程中的安全意识、办公规范、违规处置，明晰职责

四、国内、外AI安全大经过

1. deepseek资料库泄露

2. Anthropic公司源代码泄露

3. openai大模型漏洞

课堂碰头：本单位哪些AI采用情境最容易发生资料泄露？哪些业务资料能够输入AI，哪些必须禁止或者脱敏？

次讲：运用——AI办公情境以及防控实战

一、AI办公抓手采用

1. 大模型市场和大模型类型

2. 接入大模型API

3. AI办公抓手

1）cherry studio

2）trae work

3）claude code

4）codex

5）hermes

4. 大模型运用

1）ai agent理论

2）mcp

3）competencies

二、AI办公典型情境和隐患地图

1. 文档写作——材料上传和敏感资讯生成隐患

2. PPT和呈报材料——内部私密资讯泄露隐患

3. 表格和资料拆解——敏感资料暴露隐患

4. 代码和研发辅助——测试资料泄露和AI代码漏洞

5. 翻译、润色和收束——涉密资讯、商业秘密、个人资讯和监管材料外发隐患

二、AI办公安全红线和可用边界

1. 禁止输入

1）国家机密资料

2）办公机密资料

3）个人敏感资料

2. 谨慎输入

——制度文档、测试资料、日志样本

3. 可控输入

——公开资讯、脱敏资料、学识库内容

4. 输出审核

1）事实核验

2）引用核验

3）版权查验

4）合规审查

5）人工复核

三、公司AI办公管将控度

1. AI抓手白名单、灰名单、黑名单管控

2. 办公终端、浏览器插件、SaaS AI抓手和移动端AI运用的准入管控

3. DLP、代理网关、终端管控和水印溯源联动

4. AI办公日志审计和违规行为发现

情境上手1：识别一份“看似普通”的会议纪要中隐藏的敏感资讯

情境上手2：将一段含敏感字段的业务材料改写为可安全输入AI的脱敏版本

三讲：进阶——大模型和AI运用安全技艺隐患

一、LLM运用安全十大隐患

1. 提示词注入

2. 敏感资讯泄露

3. 供给链隐患

4. 资料和模型投毒

5. 输出处理不当

6. 过度代理

7. 系统提示词泄露

8. 向量和嵌入弱点

9. 虚假资讯

10. 无限制消耗

实例拆解1：2023年三星员工将源代码、半导体装置相关资料等等公司机密输入 ChatGPT，导致敏感资讯外泄；研究也显示部分员工曾向ChatGPT 输入公司机密资讯

实例拆解2：央视曝光攻击者可借助污染垃圾邮件分类训练资料，将钓鱼邮件故意标注为“非垃圾邮件”，长期训练后模型可能将类似钓鱼邮件识别为正常邮件

二、AI运用技艺架构中的安全将控点

对照：《生成式机器智能服务安全基本要求（征求意见稿）》

1. 语料安全：关注模型训练、精进、微调所采用资料的来源、内容和合规性

2. 模型安全：模型本身具备安全、可控、稳健的输出本领

3. 安全措施：设置“护栏”，就一线经验说，让服务可控、可管、可追溯

4. 安全评核：自评核或者第三方评核

四讲：实操——AI资料安全和模型安全治理

一、资料安全架构轮廓

1. 资料治理轮廓-DGI

2. 资料安全治理的办法论和最 佳实践

1）DSG-资料安全治理

2）DGPC-资料治理和隐私合规

3. 资料安全本领成熟度模型-DSMM

二、全生命周期资料安全

1. 资料采集

1）确认资料来源是否合法、放权是否充分

2）遵循最小必要要则，防止过度采集

3）识别个人资讯、敏感个人资讯、商业秘密、要害资料等等敏感内容

2. 资料传输

1）采用必要的加密传输方式记性加密传输

2）采用国密算法

3. 资料共享

——资料可用不可见，资料不出域、可追溯

4. 资料处理

——对资料开展分类分级，训练资料按照合规要求开展标注

5. 资料销毁

1）设置资料保存期限

2）删除过期资料

3）清理训练资料、测试资料、标注资料

实例1：金融领域大模型安全实践-支小宝

实例2：医疗领域大模型安全实践-某医疗AI助手

实例3：政务领域大模型安全实践-赣服通

实例4：智能助理领域大模型安全实践-“SenseNova”

五讲：落地——组织级AI安全架构建设和落地路线

一、AI安全管将控度规划

1. AI抓手采用管控办法

——拟定常规抓手白名单，采用规章制度，模型本领等等

2. AI办公安全规范

——规范文档、代码、资料、买方资讯、会议纪要以及邮件资讯

3. AI运用建设安全规范

——规范AI开发进程中，需要产生的相关文档、流程、资料

4. 第三方AI服务管控

1）供应商准入

2）供应商退出

3）定期查验隐患

二、AI安全技艺架构筑议

1. API管控

1）统一AI门户

2）身份认证

3）权限将控

4）抓手白名单

2. 资料管控

1）资料分类分级

2）脱敏

3）DLP

4）学识库权限

5）向量库隔离

3. 模型管控

1）模型网关

2）提示词防护

3）输出审核

4）红队测试

5）模型评测

4. 营运管控

1）日志审计

2）隐患告警

3）安全经过响应

4）隐患报表和持续精进

研习收束和落地行动：

1. 学识回顾：AI运用采用情境（操练怎样采用AI抓手生成ppt，制作资料表格等等）。AI采用情境中的安全注意事项有哪些，资料泄露隐患有哪些，造成哪些危害。

2. 答疑交流：就参训者提出的公司实际质量难题开展拆解、碰头、情境上手、点评

3. 研习落地：

1）质量改进个人宣言：明晰自己回到岗位后的质量行动承诺

2）小组行动方案：分小组输出本部门的AI抓手采用白名单

3）研习心得分享：分享本次研习的收获和感悟，互相启发

老师简介

Introduction to lecturers

弄懂更多

博闻智咨询|张振中老师