课程背景
当前，在全球步入“智能原生”深水区的来由下，机器智能已从辅助抓手演变为国企数智化转型的“核心驱动引擎”。随着生成式大模型（LLM）的广泛运用，国企资讯中心正面临从传统硬件维护向智能化算力调度的定位跃迁。可是，当前普遍存在“算力盲目投入”和“效率黑盒”的矛盾，员工往往在不领会张量计算（Tensor）、模型权重和硬件拓扑（Topology）推演的情况下开展作业，导致高价值算力资源的极大浪费。AI运用的部署不只是点击“运行”，更是一场关于模型推理本领和算力效率的博弈。
和此同时，AI驱动的全链路自动化攻击架构已经形成，这使得AI运用和算力平台本身成为了黑客眼中的“皇冠上的明珠（Crown Jewels）”。在国企“新质战斗力”的建设进程中，算力的采用规范已直接挂钩国家资料安全合规要求。依据最 新发布的 GB/T 45577-2025 准则，公司在开展AI模型开发、测试、发布和运维的全生命周期中，必须构筑起可感知的“网络空间地形图”，以化解AI驱动的智能化、隐蔽化勒索攻击所带来的威胁。
针对上述挑战，本课立足于“领会底层推演、掌握精进招数、守住合规红线”三大维度，旨在协助资讯中心员工构筑起一套安全、合规、高效的算力运用架构。我们将借助深度拆解 Transformer、CNN、RNN 等等主流架构的算力诉求特性，指导参训者怎样在本地环境（如 Docker）和云端平台（如阿里PAI）之间开展最 优算力配置。课程不仅关注运行速度的拉升，更强调在复杂的网络空间环境中，怎样借助安全监测预警和异常行为识别，将 AI 算力转化为支撑国企高质量演进的稳健动力。
课程收益
1.
拉升AI运用推演重构和理性判断本领
：透彻领会深度研习张量运算以及不同架构（Transformer/CNN）的算力消耗特征，达成从“按照心得盲目跑数”向“按照推演科学调优”的高质量转变。
2.
掌握业务效能跃迁和模型部署调优本领
：掌握模型量化、剪枝以及学识蒸馏等等主流精进技艺，学会在本地 Docker 环境以及 GPU 云端算力集群中开展高性能配置，确保资料安全、显著拉升系统运行稳定性。
3.
构筑排错韧性和高效持续营运模式
：学会利用 RASP 动态防御以及日志溯源技艺开展实时排错，构筑针对AI服务的监控仪表盘，确保业务连续性。
4.
领会和遵守合规底线
：深刻领会“管业务必须管合规”要则，掌握 GB/T 45577 准则下的资料分类分级保护实务，形成防御勒索软件以及防止敏感资料泄露的操作习惯。
1.
课程时间
：3天，就一线经验说，6小时/天
2.
课程人员：
资讯中心队伍
课程类型:
技艺赋能和管控风控融合型
综合性实战进阶课程，实操中，
理论讲授 + 环境实操 + 实例拆解 +情境还原 + 分组碰头 + 课件移交(包括不限于操作指引、抓手环境以及代码部分)
课程大纲
第 一天：算力基础和本地大模型部署推荐——通俗领会，落地实测
一、 精准认知：AI模型运行的算力底层推演
1. 神经网络计算本质：张量创建（Tensor）、数值计算和张量拼接
2. 硬件诉求评核：模型量级（如7B/13B）对内存、显存和带宽的硬约束
3. “规则驱动”向“模型驱动”的跨越：领会AI算力作为新质战斗力的内涵
一、 解构AI算力推演——通俗领会底层算力的运行原理
1. AI大模型是怎样“运转”起来的
(1) 代码执行到结果输出：计算图、张量和算子概念通俗领会
(2) CPU vs GPU：为何AI大模型运算效率更为倚重GPU？（并行计算原理图解）
(3) 内存和显存的博弈：模型加载、中间变量和显存占用情况计算
1. 常见AI运用情境的算力诉求画像
(1) 文本模式：大模型对生成式文本的显存消耗量图解：借助大家熟知的模型参数量和显存占用的换算公式来说明
(2) 非文本模式：图像识别和生成的计算密集特性和要求：批处理对算力的影响，突出并行计算高强度成效
(3) 资料拆解类差事的瓶颈识别：是IO瓶颈还是计算瓶颈？
一， 架构透析：不同算法模型的算力指纹
1. Transformer 架构：多头注意力制度的并行计算优势解读
2. CNN 卷积神经网络：图像拆解中的局部感知和计算密度
3. RNN 系列模型：序列资料的算力瓶颈和梯度消失问题
4. 为何为Transformer？--从BERT到GPT的技艺演进趋势开展说明
一、 本地硬件环境体检和效能最 大化
1. 显卡驱动和环境配置：CUDA、cuDNN的正确安装和版本兼容
2. 系统资源监控实战：怎样用差事管控器和专精抓手“看透”资源占用
3. 笔记本和事务站的精进打法：散热、电源管控和性能模式设置
一、 掌握本地模型运行精进招数
1. 模型量化技艺入门：浮点数16位、整型8位量化对速度和精度的影响实测
2. 推理轮廓选项和配置：Ollama、LM Studio等等抓手的后台参数解读
3. 上下文窗口管控：怎样借助精进提示词长度降低显存消耗
一、 性能测试和评核：算力基准测试
1. 基于 Python 的 Numpy/PyTorch张量运算性能对比测试
2. 性能评核：计算装置（CPU vs GPU）在不同批处理规模下的吞吐率表现
一、 本地大模型部署和测试
1. 课程实战：在本地私有环境中部署一个开源大模型。课前提供调研问卷，根据参训者反馈情况，指定部署具体厂商的开源大模型，具体操作流程和成效标的如下：
(1) 模型选型和下载：解说怎样根据硬件条件选项参数规模适合大小的模型
(2) 配置文件修改：调整线程数、GPU层数加载等等要害参数
(3) 成效对比：精进前后推理速度和资源占用率对比记录
一、 算力成本拆解
1. 推理成本：Token计费推演和精进
2. 训练/微调成本：GPU租用和显存预估
3. 算力成本和定价打法（商业核心）
(1) 私有化部署抓手：Ollama (本地开发)、vLLM (高并发推理加速)，TensorRT-LLM (英伟达)
(2) Token消耗：输入/输出Token成本精进落地（以DeepSeek“价格屠夫”打法为例）
(3) SaaS 模式定价：按照席位 vs 按照调用量 vs 混合定价
(4) GPU 选型指南（示例）：A100 vs A10 vs 4090 --显存诉求和并发量估算公式
一， 部署模式分类：
(1) 公有云API vs 云端私有化部署 vs 本地私有化部署（Local LLM），从运用效率，资料安全性要求、成本投入几部分指标综合衡量所选模式
1. 第二天：降本增效，云端资源管控和进阶调优——云部署模式
一、 领会云端算力模式
1. 云厂商AI基础设施概览：从虚拟机到Serverless推理服务
2. 计费模式分类：按照量计费、包年包月和竞价实例的选项打法
3. 成本将控实战：设置预算警报和资源自动释放制度，需要根据不同运用情境选项不同资源占用模式，统筹兼顾成本要求
一、 API调用精进和并发管控
1. API调用的网络延迟和计算延迟：识别时间资源占用分布情况，选项最 优渠道和方案
2. 并发将控打法：QPS限制、重试制度和指数退避算法运用
3. 批量请求技艺：怎样借助合并请求拉升吞吐效率
1. 实操环节：编写脚本调用云端大模型API
(1) 原始性能测试：记录单次调用耗时和并发表现
(2) 运用精进打法：实时异步调用和批量处理改造
(3) 压测对比：精进后的吞吐量拉升成效拆解
(4) 基于阿里云PAI平台的 DSW环境搭建和资源清理实践
一、 API 驱动运用：基于Flask/Gradio轮廓的服务化封装和交付方案引见
一、 模型压缩技艺：模型量化、剪枝代码达成和要害功能详解
二、 学识蒸馏：怎样针对大模型在性能和算力成本之间取得平衡？
三、 训练打法精进：规划采样和权重绑定技艺运用，怎样减少模型参数量、拉升训练效率，改进模型性能
一、 系统日志溯源：迅速定位进程异常退出、显存溢出原因拆解
二、 痕迹检测功能运用：识别模型运行中的异常调用链
三、 实操上手：基于RASP技艺的零日漏洞“免疫式”拦截
一、 资料传输和预处理的加速
1. 资料管道精进：减少“木桶效应”，让资料充分支撑模型
2. 缓存制度运用：本地缓存和Redis在AI推理中的运用情境
3. 资料压缩和传输：减少网络IO对算力等待的影响
一、 模型微调和推理加速进阶
1. 提示词工程对算力的节省：精准指令减少无效计算轮次
2. 常见报错和稳定性保障：内存溢出的预防和处理
3. 容器化部署入门：利用Docker达成环境隔离和迅速迁移
第三天：拉升排错本领水平，养成安全合规习惯--AI算力合规采用和习惯养成
一、 资料资产盘查：识别AI模型投喂资料中的“皇冠明珠”
二、 分类分级保护：个人资讯、要害资料在算力平台上的隔离存储
三、 全生命周期管控：从收集，训练到生成、删除的合规核查节点
一、 故障诊断办法论
1. 排错基本流程：复现问题、隔离变量、日志拆解
2. 典型报错代码解读：CUDA内存溢出、连接超时等等
3. 日志拆解基础：怎样从海量日志中提取要害报错资讯，支持追溯排查
一、 典型情境排错上手
1. 情境一：模型加载失败或者推理速度骤降
(1) 排查大模型驱动版本、显存碎片整理和进程冲突情况
1. 情境二：API调用频繁报错或者超时
(1) 排查网络代理、并发阈值和负载均衡问题
1. 情境三：服务器CPU/GPU利用率异常飙升
(1) 排查死循环代码、僵尸进程和挖矿病毒隐患
1. 防御博弈上手：化解 AI 驱动的智能化威胁
(1) 勒索软件态势：Weaxor，LockBit5.0 攻击路径以及针对算力节点的破坏模式拆解
(2) 账号和鉴权安全：怎样防止远程桌面协议弱口令和 VPN 漏洞导致算力被“肉鸡化”？
(3) 应急响应SOP：拟定发现内网系统感染后的第 一时间“隔离、断网，凭证清理”清单
一、 算力采用的安全和合规红线
1. 资料隐私保护：敏感资料脱敏处理和本地化运行优先要则
2. 合规采用开源模型：开源协议隐患和境外模型供给链安全拆解
3. 资源采用规范：禁止和业务无关的脚本调度，遵循最小权限账号管控要则
一、 养成高效的AI算力采用习惯
1. 差事调度习惯：利用非高峰时段运行重算力差事
2. 资源释放习惯：差事结束后的显存清理和环境重置，根据业务运用环境需要确定资源释放的时间点和资源释放状态
3. 持续研习习惯：关注新技艺动态，更新精进学识库
一、 决策支持：借助仪表盘实时监测算力利用率和安全隐患指标
二、 习惯练出：全员签署《算力合规采用承诺书》，构筑依规履职底线意识
三、 学识测评：AI算力、算法和安全融合本领综合考核
四、 综合实战考核
1. 还原故障排除流程：给定一个运行异常的AI环境，就一线经验说，要求在规定时间内定位并破解
2. 精进方案规划：针对一个具体的AI业务情境，输出资源配置和精进方案书
一、 课程收束和行动承诺
1. 重点学识回顾：构筑个人AI计算本领学识架构
2. 拟定行动规划：基于岗位特点，拟定未来3个月的算力精进改进标的。
课程收束和展望 1. 重点内容回顾
2. 交流问题碰头
3. 课后差事跟进
老师简介
Introduction to lecturers
弄懂更多
博闻智咨询|王亚彬老师
适合谁听
上述挑战。建议同一家企业 3 人以上同来，课堂上直接改造本企业的实际问题——单人参加也能学到方法，但带不走可用的成果。
交付流程
课前：顾问访谈 2 位管理者，收集现状与问题清单，讲师据此调整案例。课中：讲授与演练各占一半，产出可直接用的工具与方案。课后：7 天内提交改进建议，30 天内一次线上答疑。