课程背景
在“机器智能+”成为国家方略的今天，众多像方正资讯业界这样的科技公司，正积极探索将AI融入自有品牌和孵化项目，以期创造新增长点。可是，从技艺探索到商业落地，普遍面临三大困局：
“选项困局”
（开源/商业模型众多，硬件成本高企，怎样选型适配？）、
“落地困局”
（RAG、Agent等等技艺怎样和具体情境结合，构筑稳定可靠的智能服务？）、
“成本和运维困局”
（怎样评核投入产出，并达成服务的持续精进和稳定运维？）。这些痛点导致许多孵化项目停留在概念阶段，就一线经验说，难以转化为可销售、可交付的竞争力货品。
本课旨在破解上述困局。摒弃空洞理论，运行层面，采用“
架构师工作坊
”模式展开。课程推演清晰：
第 一环
，纵深剖析大模型、RAG、Agent的核心原理和架构（心法）；
第二环
，结合硬件、成本、安全等等约束，实战推演技艺选型和方案规划（招式）；
第三环
，以买方孵化中的“智能AI货品”，“贴牌+自研”业务为沙盘，完成从模型部署到服务上线的完整路径规划（实战）；最终输出可直接用于项目推进的
技艺方案轮廓和决策清单
。
参训参训者和队伍将获得超越单次培训的长期价值：
本领层面
，构筑系统性的AI运用架构思路，能够独立主导中小型AI项目的技艺选型和方案规划；
项目层面
，为孵化中的AI货品找到清晰、低成本、可落地的技艺达成路径，加速从“孵化”到“货品”的进程；
商业层面
，借助掌握成本将控和效能精进办法，为“贴牌+自研”模式注入AI竞争力，拉升投标方案的技艺含金量和商业价值。
课程收益
•
掌握
大模型选型和硬件资源评核的
核心办法论
，能够为具体业务情境拟定
性价比最 优
的技艺底座方案。
•
领会
RAG学识库构筑和推理服务架构的
全流程和要害决策点
，具备独立规划公司级智能问答系统原型的本领。
•
学会
采用vLLM等等主流推理引擎的
要害配置和精进招数
，以及AI运用运维监控的
基础抓手链
，保障项目平稳运行。
•
获得
一套完整的，可直接复用的
AI项目技艺选型查验清单、架构规划模板和成本测算模型
，即学即用。
课程大纲
课程导入
• 破冰和痛点共鸣：从“智能客服的‘智障’回复”和“标书中华丽的AI功能描述怎样达成？”切入，引发对AI落地“最后一公里”的思索。
• 课程全景图发布：展示从“算力江湖”到“智能体生态”的1天技艺纵贯线，明晰各模块怎样串联并破解买方实际问题。
• 分组和实战来由发布（可选）：各组将代表“方正AI货品孵化部”，围绕“智能投标助手”或者“智能售后学识库”情境，在一天内完成技艺方案架构规划。
学识模块（心法修炼）：
• 学识点一：模型江湖的门派和绝学：纵深浅出解读Transformer核心思想；对比GPT，GLM、Qwen、DeepSeek等等主流模型架构特点、适用情境和“长短板”；开源vs.商业模型的终 极权衡（成本、本领、可控性、合规性）。
• 学识点二：算力经济的架构师算法：GPU（N卡）和国产AI芯片（华 为昇腾等等）的实战性能对比和生态拆解；显存、吞吐量、时延的“不可能三角”；量化技艺（INT8、INT4）的原理、收益和精度损耗隐患将控。
• 学识点三：落地路径：模型选型“五维评核法”（成效、成本、速度、安全、生态）；硬件资源测算“三步法”。
实例研讨（实战过招）：
• 实例名称：某制造业公司“智能工单助手”模型选型踩坑记
• 实例来由：从盲目追求千亿参数，到根据“工单文本长度、响应时效，私有化部署成本”精准选项7B模型，成本降低80%。
• 要害挑战：怎样在有限的预算内，满足业务对准确性和响应速度的双重诉求？
沙盘上手/小组碰头（30分钟）：
• 上手主题：为“智能投标助手”选定技艺底座
• 上手标的：各小组基于发布的业务情境（文档处理量、响应要求、预算范围），采用“五维评核法”和“三步法”，确定模型类型（开源/商用？多大参数？）和初步硬件配置（需要多少张什么卡？）。
• 上手抓手：技艺选型决策矩阵表、成本测算模型表
• 展示点评：各组展示选型依据，冰洋老师点评其业务适配性和成本考量合理性。
学识模块（心法修炼）：
• 学识点一：推理引擎的“内力”比拼：vLLM核心精进原理（PagedAttention）、性能优势和适用情境；对比TGI、TensorRT-LLM等等其他轮廓的差异化定位。
• 学识点二：vLLM实战调优秘籍：启动核心参数解释；吞吐量和时延的平衡艺术；常见“坑”和参数阈值设置心得。
• 学识点三：服务化架构规划：从单机推理到高可用服务集群；API网关、负载均衡，监控告警的轻量级集成方案。
实例研讨（实战过招）：
• 实例名称：云企大厂内部AI中台推理服务精进实例
• 实例来由：借助vLLM参数调优和服务架构分层，将同一硬件下的服务并发本领拉升3倍，成功化解业务洪峰。
• 要害挑战：怎样在不增加硬件投入的情况下，拉升服务吞吐本领？
沙盘上手/小组碰头：
• 上手主题：规划“智能投标助手”的推理服务架构图
• 上手标的：在A1大白纸上，绘制出从请求接入、模型调度，到结果返回的简易服务架构图，并标明要害组件和vLLM核心参数配置思路。
• 上手抓手：架构画布、彩色记号笔
• 展示点评：各组展示架构图，阐述高可用和弹性扩展规划思路。
学识模块（心法修炼）：
• 学识点一：RAG系统核心三要素深度拆解：文档分块打法（语义、递归、固定）的抉择和陷阱；向量化模型选型和微调；检索器的精进（混合检索、重排序）。
• 学识点二：提示词和上下文工程的“炼金术”：思路链（CoT）、Few-Shot Prompting在公司情境的实战写法；怎样管控长上下文和维持多轮对话的记忆连贯性。
• 学识点三：资料安全和学识库构筑流程：敏感资讯过滤和脱敏；从非结构化文档到可检索学识库的自动化流水线规划。
实例研讨（实战过招）：
• 实例名称：某金融机构基于RAG的智能合规问答系统
• 实例来由：借助精进分块打法和引入重排序，将复杂法规条款的检索准确率从70%拉升至95%。
• 要害挑战：怎样处理文档结构复杂、专精术语多的海量PDF/Word材料？
沙盘上手/小组碰头：
• 上手主题：为“智能售后学识库”规划RAG方案
• 上手标的：针对“货品指引、故障代码库、历史工单”三类资料，规划差异化的分块打法、检索方案，并编写一个核心的提示词模板。
• 上手抓手：RAG规划模板、提示词模板卡片
• 展示点评：各组展示规划，重点碰头怎样平衡召回率、准确性和系统开销。
学识模块（心法修炼）：
• 学识点一：AI系统的“守夜人”：监控指标架构建设（GPU利用率、请求延迟，Token消耗、异常问答）；日志和链路追踪；告警打法。
• 学识点二：AI智能体开发入门和实践：Agent核心架构（规划、抓手采用、记忆）；Dify/Coze等等低代码平台和自有系统集成的路径和边界。
• 学识点三：模型持续迭代的路径：何时需要微调？全参数微调、LoRA等等轻量化微调技艺选型；版本管控和灰度发布打法。
实例研讨（实战过招）：
• 实例名称：某厂商云AI服务运维架构揭秘
• 实例来由：借助构筑完善的监控基线和服务降级打法，保障了AI服务99.95%的可用性。
• 要害挑战：怎样提前发现模型服务性能衰减，并迅速定位是资料、模型还是基础设施问题？
沙盘上手/小组碰头（30分钟）：
• 上手主题：拟定孵化项目的运维和演进路线图
• 上手标的：各小组为上午规划的“智能投标助手”或者“智能售后学识库”项目，规划一个从V1.0上线到未来6个月的运维监控要点和可能的迭代（如引入Agent、开展微调）路线图。
• 上手抓手：A1大白纸、决策便签
• 展示点评：各组展示路线图，在实际应用里，冰洋老师点评其可行性和隐患点。
七、课程收束和行动规划
• 学识图谱回顾：以“武功心法图”形式串讲全天从模型、算力、架构、学识、运维到迭代的核心要点。
• 参训者实战结晶展示和点评：评选最 佳技艺方案，并由冰洋老师开展综合点评和精进建议。
• 行动规划：
◦ 一周内：采用课程交付的查验清单和模板，对现有或者规划中的AI孵化项目开展一次迅速技艺架构复盘。
◦ 一个月内：基于复盘结果，完成一个最小可行技艺方案的POC（概念验证）规划文档。
◦ 长期：构筑内部AI技艺选型和评核的简易流程，形成组织资产。
老师简介
Introduction to lecturers
弄懂更多
博闻智咨询|冰洋老师
适合谁听
• 方正资讯业界有限责任公司技艺研发主力、AI项目负责人、货品经理 • 希望纵深领会AI技艺达成路径、以更好规划货品和市场的业务负责人。建议同一家企业 3 人以上同来，课堂上直接改造本企业的实际问题——单人参加也能学到方法，但带不走可用的成果。
交付流程
课前：顾问访谈 2 位管理者，收集现状与问题清单，讲师据此调整案例。课中：讲授与演练各占一半，产出可直接用的工具与方案。课后：7 天内提交改进建议，30 天内一次线上答疑。