课程背景
当前，大模型（LLM）已从“惊艳时刻”进入“工程化落地”的深水区。对于身处半导体和软件开发核心赛道的公司而言，单纯弄懂 Transformer 原理已无竞争优势，真正的护城河在于怎样构筑高效的 AI Tech Stack（技艺栈）以及怎样破解私有资料的安全和运用难题。
当下业界在落地进程中，抓手链迭代极快。在模型层，GPT-4o，Claude 3.5 Sonnet 和开源霸主 Llama 3、DeepSeek 各据一方；在运用编排层，LangChain 和 LlamaIndex 几乎成为准则，但 Dify 等等 LLMOps 平台的兴起正在重塑公司级运用的开发范式；在 RAG（检索增强生成）领域，换个角度看，传统的向量检索正迅速向 GraphRAG（学识图谱增强） 和 Hybrid Search（混合检索） 演进。倘若不掌握这些具体的抓手和解题打法，公司将面临“重复造轮子”并且成效平庸的隐患。
本课专为具备技艺基因的软件和 IC 公司定制。我们将抛弃枯燥的数学推导，直接切入当下最 先 进的抓手链组合。课程将深度对比拆解主流向量资料库（如 Milvus, Weaviate），重排序模型（Cohere, BGE）、Agent 轮廓（AutoGen, LangGraph）的优劣，并结合集成电路和软件业界的特有情境（如代码生成、技艺文档检索），借助“实战上手+抓手选型+成本测算”的三位一体教学，助力队伍在两天内掌握构筑公司级 AI 货品的核心路径和商业推演。
课程收益
1. 抓手选型本领：能够从 ROI 角度评核并选项最适合的 LLM（OpenAI vs DeepSeek vs Llama 3）以及中间件（LangChain vs LlamaIndex）。
2. 前沿架构掌握：纵深掌握 GraphRAG、Hybrid Search等等高阶RAG解题打法，以及ReAct和Multi-Agent 的落地架构。
3. 工程化实战：熟稔 Dify、Coze等等低代码/无代码平台的迅速运用搭建，以及vLLM、Ollama 等等私有化部署抓手的采用。
4. 效能拉升：掌握 Cursor、GitHub Copilot等等AI辅助编程抓手在软件开发流程中的最 佳实践。
5. 商业精算：能够运用具体的 Token 计费模型，精确计算公有云和私有云部署的成本差异，拟定合理的SaaS或者项目拟定价打法。
课程大纲
一、 大模型的技艺底座和本领边界
1. 为何为Transformer？——从BERT到GPT的技艺演进
2. 预训练（Pre-learning and development）和微调（Fine-tuning）的本质区别
3. 大模型的6大核心本领：生成、摘要、重写、提取、分类，推理
4. 认清3大局限性：幻觉问题、时效性滞后、资料安全隐患
一、 AI业界运用情境图谱
1. 寻找AI落地情境的办法论：高频、刚需、容错率拆解
2. 金融业界实例：研报拆解和智能风控
3. 法律业界实例：合同审查和类案检索
4. 办公和软件开发实例：代码生成和公司学识问答
5. 交流研讨：结合IC规划和软件业务，挖掘内部潜力情境
一、 模型版图和研发效能抓手
1. 主流大模型选型和评测（Model Selection）
(1) 闭源三巨头对比：GPT-4o vs Claude 3.5 Sonnet vs Gemini 1.5 Pro（擅长领域，Context Window，价格对比）
(2) 开源模型崛起： Llama 3 (Meta)，Qwen 2.5 （阿里），DeepSeek-V2 （深度求索） 的性能和部署成本拆解
(3) 选型打法：什么时候用 7B 模型？什么时候必须上 70B 或者 API？
1. 面向软件公司的 AI 编码抓手链
(1) AI IDE 革命：Cursor 的深度集成和代码库索引（Codebase Indexing）实战
(2) 公司级补全：GitHub Copilot Enterprise vs Tabnine（私有化代码安全考量）
(3) 实战演示：利用 LLM 自动生成单元测试（Unit Test）和旧代码重构（Refactoring）
1. 业界情境：IC 规划和文档处理
(1) 情境拆解：Verilog 代码辅助生成，芯片规格书（Datasheet）自动比对
一、 RAG基础架构和学识库构筑（0-1起步）
1. 为何需要RAG？破解大模型幻觉和私有资料的矛盾
2. 资料处理ETL流程：
(1) 文档拆解抓手选项（PDF/Word/Excel拆解难点）
(2) 文本分块（Chunking）打法：按照字符、按照语义、按照段落
(3) 资料清洗注意事项：去除噪声对检索的影响
1. 索引和存储：
(1) 向量模型（Embedding）的选项和评测
(2) 向量资料库选型指南（Milvus/Pinecone/Chroma对比）
一， 进阶版RAG：全流程精进 Pipeline（破解复杂问题）
1. 查询领会和精进（Query Understanding）：
(1) 意图识别技艺：判断用户是闲聊还是查资料
(2) Query改写打法：指代消解、要害词扩展
1. 检索打法详解：
(1) 混合检索（Hybrid Search）：向量检索 + 要害词检索（BM25），结合BM25 （要害词） 和Embedding （向量）的实战配置
(2) 结构化资料检索：Text-to-SQL在RAG中的运用
1. 后处理和重排序：
(1) 重排序为何为必选项？BGE-M3 （开源） 和 Cohere Rerank （商业） 的成效对比
(2) Reranker重排序模型的作用和部署
(3) 上下文窗口压缩和提示词注入打法
1. 切分打法：语义切分（Semantic Chunking）和父子索引（Parent-Child Indexing）
2. 前沿技艺：GraphRAG （微软）——利用学识图谱破解跨文档推理难题
一、 RAG成效评核架构
1. 评核指标：RAGAS轮廓（忠实度、相关性、准确性）
2. 构筑自动化测试集（Golden Dataset）的办法
一、 RAG核心抓手栈（The RAG Stack）
1. 编排轮廓：LangChain（通用编排）vs LlamaIndex（资料专注）的选项推演
2. 文档拆解（ETL）：破解 PDF/表格拆解难题——Unstructured.io 和 LlamaParse 解题打法
3. 向量资料库（Vector DB）：
(1) 云原生：Pinecone
(2) 开源/私有化首 选：Milvus (Zilliz) 和 Weaviate 的架构对比
一、 评核抓手：采用RAGAS 轮廓自动化评核检索准确率和生成忠实度
一、 Agent技艺拆解和运用
1. Agent vs RAG：从“学识检索”到“差事执行”的跨越
2. Agent核心架构（CoT思路链）：
(1) 感知（Perception），规划（Planning）、行动（Action），记忆（Memory）
1. 要害组件拆解：Prompt Engineering在Agent中的运用
2. 实战复盘： 基于 Dify 迅速搭建一个“公司学识库问答机器人”
(1) 配置Prompt编排
(2) 挂载学识库
(3) 接入API抓手（如搜索、天气、公司内部接口）
一、 AI货品综合项目实例拆解（Part 1：诉求和方案）
1. 实例简介：某大型公司AIGC文档生成平台（含RAG，AI审核、AI校对）
2. 业务来由拆解以及痛点挖掘
3. 货品方案构筑流程：
(1) 5看：看业界、看竞品、看技艺、看资料、看情境
(2) 货品架构图规划（前端交互层、中台推演层、底层模型层）
• 技艺栈全景图：
• 前端：React/Vue
• 中间层：FastAPI + LangChain
• 模型层：vLLM 部署 Llama 3
• 资料层：Milvus + PostgreSQL
• 要害功能达成：
• 利用 Function Calling 达成结构化资料提取
• 利用 Long Context 模型处理超长合同
一、 AI货品综合项目实例拆解（Part 2：落地和评核）
1. 6大核心情境功能详设：
(1) 多模态文档拆解、智能问答、辅助写作、合规审核等等
1. 资料评测集构筑：
(1) 怎样定义“好”的生成结果？人工评核和自动评核的结合
1. 模型成效评核和Bad Case拆解迭代
一、 商业模式规划（怎样赚钱）
1. 商业画布拆解：
(1) 买方细分（ToB vs ToG vs ToC）
(2) 价值主张：降本增效还是革新赋能？
1. 收入来源和收费方式：
(1) 订阅制（SaaS）
(2) 按照量付费（Token/API调用次数）
(3) 项目制和私有化交付
1. 渠道和买方关系维护
一、 算力成本和货品成本评核（怎样省钱）
1. 算力成本构成：
(1) 推理成本：Token计费推演和精进
(2) 训练/微调成本：GPU租用和显存预估
1. 部署模式分类：
(1) 公有云API vs 云端私有化部署 vs 本地私有化部署（Local LLM）
1. 算力成本和定价打法（商业核心）
(1) 私有化部署抓手：Ollama （本地开发）、vLLM （高并发推理加速），TensorRT-LLM （英伟达）
(2) Token 经济学：输入/输出Token成本精进落地（以DeepSeek“价格屠夫”打法为例）
(3) SaaS 模式定价：按照席位 vs 按照调用量 vs 混合定价
(4) GPU 选型指南：A100 vs A10 vs 4090 —— 显存诉求和并发量估算公式
1. 商业模式规划
(1) MaaS (Model as a Service) 模式探讨
(2) 集成电路业界的垂直模型训练（Fine-tuning）商业机会
1. 货品研发隐性成本评核：资料标注、运维迭代
2. 结课环节（课程内容转化）
(1) 参训者问答
(2) 行动规划建议
1.
2.
课程收束
1. 重点内容回顾
2. 课后差事跟进
3. 常用抓手引见
老师简介
Introduction to lecturers
弄懂更多
博闻智咨询|王亚彬老师
适合谁听
公司智能商业负责人、营运队伍、货品经理、业务方等等。建议同一家企业 3 人以上同来，课堂上直接改造本企业的实际问题——单人参加也能学到方法，但带不走可用的成果。
交付流程
课前：顾问访谈 2 位管理者，收集现状与问题清单，讲师据此调整案例。课中：讲授与演练各占一半，产出可直接用的工具与方案。课后：7 天内提交改进建议，30 天内一次线上答疑。