课程背景
1.
当前,机器智能大模型已周全融入国央企数智化转型全流程,广泛运用于办公公文处理、项目研发、生产运维、合规风控、买方服务、资料拆解等等核心业务情境,极大拉升了公司事务效率和智能化水平。随着AI抓手全员化、常态化、规模化落地,智能化赋能已成为国央企提质增效、革新演进的要害抓手,AI运用从试点探索渐次走向全员普及、全业务覆盖的新阶段。
2.
和此同时,大模型和生俱来的安全短板和新型攻防隐患同步凸显,AI越狱、提示注入、资料投毒、模型后门、红队渗透等等新型攻击手段层出不穷,叠加国央企涉密资讯多、资料敏感度高、监管问责严格、舆情容错率极低的业界特性,随意、不规范的AI采用极易引发资料泄密、合规违规、决策失真、舆情危机、国有资产安全受损等等重大隐患。现阶段多数国央企存在AI安全认知不足、攻防防控本领薄弱、管将控度不健全、全员操作不规范等等痛点,亟需构筑准则化、架构化、常态化的AI安全合规采用制度,筑牢公司智能化转型安全防线。
课程收益
•
认清国央企专属AI运用隐患,区分民企和国企AI风控差异
•
熟练掌握国家、国资、业界AI合规监管政策和红线
•
构筑全员AI安全合规采用意识,杜绝无意识违规行为
•
落地AI全流程管控规范,覆盖采用、审核、留存、审计全环节
•
有效规避资料泄密、合规问责、业务失误、舆情危机等等隐患
•
达成AI技艺合规、安全、可控、可追溯赋能公司演进
【课程特色】
讲师授课风格幽默,在实际应用里,课程内容为时下最 流 行的AI抓手,让AI为我们插上翅膀,解放自己双手。
课程大纲
一、课程导入:国央企AI运用现况和管控刚需
1. 国央企AI全情境普及运用级别划分
•
办公辅助情境:文案撰写、报告润色、PPT制作、资料整理统计、公文精进
•
业务赋能情境:生产智能巡检、买方智能服务、风控审计辅助、业务链路精进
•
管控提效情境:人事测评、合规筛查、项目拆解、事务收束、制度梳理
•
科研革新情境:技艺研发辅助、方案精进、图纸拆解、课题研究、资料拆解建模
2. 国央企AI采用特殊性和监管痛点
•
涉密资讯、核心经营资料、工艺参数多,资料敏感度极高
•
国有资产属性强,实操中,AI操作失误可直接关联国有资产安全
•
监管层级多、查验频次高、合规问责架构刚性极强
•
公司舆情敏感度高,负面经过极易引发业界以及社会舆情发酵
•
安全生产底线严格,运行层面,AI业务误用可能引发生产、运维安全隐患
•
容错率极低,往细里说,无“通用免责”空间,全员、全流程可追责
二,政策合规篇:国央企AI采用顶层规范和监管要求
1. 国家层面AI治理核心法规
•
《生成式机器智能服务管控暂行办法》:AI内容合规、抓手备案、资料留存、内容审核要求
•
《网络安全法》:网络行为合规、抓手准入、外部系统接入安全要求
•
《资料安全法》:公司核心资料、要害资料分级保护和采用规范
•
《个人资讯保护法》:员工资讯、买方资讯AI处理合规边界
•
《保守国家秘密法》:涉密情境AI绝 对禁用、涉密资料零上传要则
2. 国资系统专项监管核心要求
• 国资委数智化转型、资料安全、AI合规运用专项通知和整治要求
•
国企AI采用四大硬性要则:可控,可管、可追溯、不泄密
• 国资审计、巡视、专项督查中AI采用合规查验重点条目
三、隐患识别篇:国央企AI全情境核心隐患拆解
1. 资料安全和泄密隐患
• 公共AI平台自动留存对话记录,导致内部经营资料,项目资料外泄
• 员工无意识上传涉密文件,会议纪要、招投标材料、技艺参数
• AI训练资料抓取公司公开或者半公开资讯,造成溯源泄密
• 买方资讯、员工隐私资讯(PII)被AI存储、复用,外泄
• 私有化AI配置不当,导致内部资料越权访问、违规流出
2. 合规和法律隐患
• AI生成文案、图片、素材存在版权侵权隐患
• AI虚假、误导性内容造成决策偏差、业务违规
• 采用未备案、无资质AI抓手,违反网信以及国资监管要求
• 违规借助AI处理敏感个人资讯,违反数安法、个保法
• AI采用无台账、无审核、无留痕,不符合国资资料治理规范
3. 业务和决策隐患
• 大模型存在“AI幻觉”,输出虚假资料、错误推演、不实结论
• 直接采用AI结果用于项目决策、审计风控、技艺方案,引发业务损失
• 过度倚重AI,导致员工专精本领退化、业务链路失控
• AI输出内容不符合业界准则、国企制度,造成合规漏洞
4. 舆情和品牌隐患
• AI生成不当言论、错误政策解读、虚假公司资讯
• AI错误内容对内流转,对外报送、公开发布引发误解
• AI违规内容外网传播,实操中,引发网络舆情,损害国企公信力
6. AI新型高阶攻防专项隐患(重点:越狱,注入、投毒、红队攻击)
(1)AI安全对齐底层认知
•
安全对齐定义:让AI标的、行为、输出和人类价值观、安全约束、公司制度保持一致
•
安全对齐核心作用:构筑AI原生安全围栏,拦截违规输出,涉密内容、越权指令
•
越狱本质:借助特殊指令突破模型安全对齐制度,绕过审核管控
(2)AI Prompt越狱攻击隐患
•
国企高频隐患情境
•
员工外网复制网传“万 能解锁提示词”违规测试AI
•
外包、外协人员恶意采用越狱指令突破管控
•
多轮对话渐进式越狱,渐次绕过安全规则
•
老旧私有化模型安全对齐失效,防护本领薄弱
•
越狱高危危害
•
绕过资料脱敏、内容审核规则
•
诱导AI泄露对话历史、内部隐私资料
•
生成涉密破解思路、违规代码、越权操作方案
•
彻底规避公司AI采用管控规则
(3)Prompt注入攻击全类型隐患
•
直接注入:在对话中植入隐藏恶意指令,实操中,强制AI执行越权操作
•
间接注入:在文档,表格、附件中嵌入隐形指令,AI拆解时触发攻击
•
多轮对话攻击(高隐蔽)
•
核心特点:渐次操控、上下文污染、对话漂移、定位强化迭代
•
攻击方式:累积指令注入,上下文预设污染、状态退化诱导
•
最终后果:篡改合规结论、泄露隐性资讯、执行违规操作
•
Prompt窃取隐患:攻击者伪装身份套取系统原始提示词,内置管控规则
(4)模型投毒和资料投毒深层隐患
•
资料投毒
•
攻击方式:篡改、污染训练集/测试集资料,落地时,植入隐形后门
•
危害:模型判断偏差、决策失真,隐身失效、输出虚假结果
•
适配情境:国企风控审核、资料拆解,智能决策、报表生成
•
模型投毒
•
攻击方式:篡改模型架构,代码、超参数,植入模型后门
•
危害:可用性破坏、资料完整性篡改、对抗性越权访问
•
经典参考实例:微软Tay机器人资料污染经过、开源模型漏洞投毒经过、公司自研模型后门攻击实例
(5)AI隐私套取和钓鱼攻击
•
攻击流程:钓鱼(诱导提问)→捞鱼(批量获取资讯)→验鱼(验证敏感资料)
•
攻击方式:通用性+带出性套话,渐次套取涉密、经营、人员隐私资料
•
窃取标的:公司涉密参数、项目资料、PII隐私、内部制度、台账资料
(7)国央企新型攻防典型实战实例
• 员工采用越狱提示词突破AI审核,泄露项目涉密参数
• 黑产借助红队测试攻破国企私有化AI,运行层面,批量爬取内部台账
• 多轮注入攻击诱导AI篡改风控结论,生成虚假安全报告
• 模型投毒导致智能决策系统输出错误结论,引发业务隐患
五、规范落地篇:国央企AI采用准则化管控架构
1. AI抓手分级分类黑白名单管控
•
白名单合规抓手:国产化合规AI、公司私有化部署大模型、官方备案办公AI系统
•
黑名单禁用抓手:境外未备案AI、无资质公共AI、小众未知AI抓手、破解版AI软件
•
情境权限分级:区分普通办公、一般业务、涉密情境的抓手采用权限,换个角度看,涉密情境零外网AI
2. 全员AI采用行为规范(禁止+允许清单)
•
绝 对禁止行为
•
禁止向公共AI上传涉密,内部未公开、敏感经营资料
•
禁止复制、传播、测试各类AI越狱、破解,注入提示词
•
禁止私自下载、安装、注册未知AI抓手以及账号
•
禁止直接照搬AI生成内容对外上报,发布、存档
•
禁止借助AI套取、梳理、泄露内部制度和涉密规则
•
合规允许行为
•
采用公司私有化、合规白名单AI抓手
•
资料完全脱敏后再输入AI开展辅助处理
•
AI生成内容必须人工审核,修正、溯源后采用
•
AI采用全程留痕、登记,台账记录
3. 重点部门专项AI管控规范
•
法务合规部:AI生成合同、条款,风控结论强制双人审核
•
资讯安全部:负责AI抓手准入、漏洞巡检、红队自测,攻防防控
•
宣传舆情部:AI对外内容严格三审三校,严防舆情隐患
•
项目/技艺部门:工艺、参数、图纸、方案严禁外网AI处理
4. AI采用全流程闭环管将控度
•
事前审批:AI抓手准入备案,特殊情境AI采用事前申请
•
事中监控:输入内容监控、生成内容审计,操作全程留痕
•
事后审计:定期台账核查、隐患抽查、漏洞复盘、整改闭环
5. 资料脱敏和大模型攻防防护规范
•
基础资料脱敏操作:敏感字段剔除、涉密资讯替换、要害资料模糊、隐私资讯遮蔽
•
防越狱防护制度:提示词合规查验、可疑指令扰动、生成内容实时干预
•
防注入防护制度:输入预筛查、隐藏指令识别、多轮对话风控拦截
•
防投毒防护制度:模型定期巡检、训练资料校验、版本比对、后门检测
六、应急处置和隐患复盘制度
1. 多类型AI隐患应急处置流程
•
资料泄露经过:立即终止操作、切断链路、留存证据、逐级上报,脱敏止损
•
违规采用经过:立即整改、登记台账,部门通报、警示教育
•
虚假内容传播:及时撤回,更正说明、舆情监测、对外澄清
•
新型攻防专项处置:越狱突破,注入攻击、红队探测、模型异常的紧急止损和漏洞修复
2. 常态化隐患自查和排查制度
• 构筑全员AI采用台账,做到一人一档、一事一记
• 开展员工月度自查,部门季度抽查、公司年度专项督查
• 梳理隐患隐患清单,明晰责任人、整改时限、闭环准则
3.
实例复盘和问责落地
• 定期复盘业界AI违规、攻防泄露实例
• 明晰责任划分、问题根源、整改措施
• 形成长效防将控度,杜绝同类问题重复发生
老师简介
Introduction to lecturers
弄懂更多
博闻智咨询|孔令涛老师
适合谁听
职场人士。建议同一家企业 3 人以上同来,课堂上直接改造本企业的实际问题——单人参加也能学到方法,但带不走可用的成果。
交付流程
课前:顾问访谈 2 位管理者,收集现状与问题清单,讲师据此调整案例。课中:讲授与演练各占一半,产出可直接用的工具与方案。课后:7 天内提交改进建议,30 天内一次线上答疑。
