课程背景
当前数智化转型已进入深水区,各业界(尤其工业检测、工程质量、智能制造、政务监管等等)普遍面临资料杂乱、准则缺失、质量低下、资料孤岛、合规隐患等等问题:海量业务资料分散沉淀,无法有效利用;资料采集、清洗、治理架构不完善,直接制约机器智能模型训练、智能识别、智能检测、智能决策落地成效。
随着 AI 大模型、机器视觉、智能检测、海量资料拆解迅速普及,没有高质量资料,AI 就是空中楼阁。资料治理是 AI 运用的基础前提,AI 技艺反过来倒逼资料准则化、资产化、价值化。公司和机构亟需构筑“资料治理筑基、AI 技艺赋能、业务价值落地”的闭环本领,打通从资料采集、治理、建模到智能运用的全链路,达成提质、增效、降本、风控,支撑业界高质量演进和数智化升级。
课程收益
(一)认知层面
1. 理清资料治理和 AI 驱动的底层推演,领会资料质量对 AI 模型精度、智能检测,智能决策的核心影响。
2. 掌握数智化转型下资料合规、资料准则、资料资产、资料安全的核心要求,规避业界常见资料隐患。
3. 构筑 “先治数、再用数、后智用” 的系统化思路,打破重 AI 技艺、轻资料基础的认知误区。
(二)本领层面
1. 掌握资料治理全流程办法,打通实操路径。
2. 领会 AI 驱动落地路径:怎样用治理后的资料训练精进模型、拉升智能检测准确率、达成业务智能管控。
3. 掌握资料 + AI 项目落地要害步骤,能识别资料短板、精进治理方案、匹配 AI 运用情境。
(三)业务价值层面
1. 达成降本增效:减少人工资料整理、人工质检成本,借助 AI 智能拆解拉升决策效率。
2. 构筑资料资产,为后续大模型运用、业界数智平台建设、数智化升级提供长期支撑。
3. 助力岗位本领升级,掌握资料治理 + AI 复合本领,适配数智化岗位诉求,拉升职业竞争力。
课程大纲
一、海量资料的演进现况
1. 运用方面:描述性多、决策性少
2. 治理方面:以点代面,往细里说,以偏盖全
3. 技艺方面:技艺本领跟不上理论演进
二、海量资料的演进趋势
1. 运用方面:向预测性和决策性方面演进
2. 治理方面:系统化治理(办法步骤+抓手要求+流程落地+制度保障)
3. 技艺方面:技艺本领持续满足海量资料的质量、规模、时效诉求
三、海量资料的认知乱象
1. 资料多=海量资料
2. 资料共享=资料治理
3. 资料仓库=海量资料
4. Hadoop、Spark、Flink=海量资料
5. 喊一万次“海量资料”=海量资料
四、周全认识海量资料
1.海量资料为何
1)“大”:种类多、体量大、格式杂,来源广
2)“数”:量化表现
3)“据”:对象特征的依据
实例:寓言故事——对象定义不清的海量资料启发。
2. 海量资料的标的
1)能用:保证准确,注重时效
2)敢用:拿的安全,换个角度看,用的放心
3)好用:获取便捷,具体来看,共享方便
4)管用:业务导向,价值驱动
3. 怎样达成标的
1)统一准则:让资料的质量“高”起来
2)一数一源:让资料资源“转”起来
3)抓手化操作:让资料共享和管控“容易”起来
4)架构化治理:让资料的价值“发挥” 出来
5. 达成标的依靠什么——办法、抓手、制度三位一体支撑
交流碰头:事务生活中您认为哪些算得上海量资料?为何?
一、资料梳理
1. 已有资料资源的梳理。
2. 拟建资料资源的梳理。
二、资料汇聚
按照技艺维度开展汇聚:
1)库表类
2)多媒体类
3)空间类
三、资料存储
1. 面向资料形式存储:存储速度快。
2. 面向业务相关存储:关联查询快。
四,指标计算
1. 指标统计
2. 指标运算
五、资料精进
1. 资料核对,补全资料。
2. 去掉重复,扩充属性。
六、资料命名
1. 规则编码:惟一性,有效性
2. 科学命名:直观性、周全性
AI就是让机器还原人类的智能,像人一样思索、行动。
AI有四个核心特征:感知、推理、生成、决策和研习。
一、感知本领
就是AI获取外部资讯、识别客观世界的本领。
运用四大领域:
第 一个领域是图像识别,这也是最常见的感知本领。它的核心就是“让AI看懂图片和视频里的内容”,就一线经验说,就像是给机器装上了一双“眼睛”。
第二个领域是语音识别。它的核心是“让AI听懂我们说的话”,就一线经验说,并将语音转化成文字。
第三个领域是文字识别,落地时,也就是我们常说的OCR。它的核心是“让AI看懂文字”,能将纸质文档或者图片里的文字,就一线经验说,转换成能够编辑的电子文字。
第四个领域是传感器感知,运行层面,它的核心是“让AI感知物理世界的各种参数”。
二、推理本领
就是AI对它借助感知本领获取到的资讯,开展解读、拆解和提炼的本领。
运用三大领域:
第 一个领域是自然语言领会,也就是NLU。这是最核心、最常用的领会本领。它的核心是让AI突破字面意思,领会语言背后的真实意图、情感和上下文。
第二个领域是图像语义领会。它和图像识别不一样,图像识别是知道图片里有什么,而图像语义领会是知道图片里的内容为何意思。
第三个领域是语音语义领会。它和语音识别也不一样,语音识别是将语音转成文字,而语音语义领会是领会这些文字背后的意思。
三、生成本领
就是AI基于已有的资料和领会,创造出新内容的本领。
运用四大领域:
第 一个领域是文本生成,这也是最常用的生成本领。它的核心是AI基于对我们诉求的领会,运行层面,生成符合要求的文字内容。
第二个领域是图像生成。它的核心是AI基于我们输入的要害词,生成符合描述的图像。
第三个领域是语音生成,往细里说,也叫语音合成。它的核心是将文字转化成自然的人类语音。
第四个领域是视频生成,换个角度看,这是比较新的生成本领。它结合了图像和语音生成技艺,能基于要害词生成短视频。
四、决策和研习本领
(1)决策本领
就是AI基于它感知和领会的资讯,结合预设的标的,做出最 优选项的本领。它的核心就是“权衡利弊,选项最 优方案”。
(2)研习本领
就是AI借助资料迭代和用户反馈,持续精进自身本领的进程。
AI的研习方式主要有三种:第 一种是督导研习,就像有人给AI批改作业,用标注好的资料来训练它。第二种是无督导研习,AI自己从资料中找规律,不需要人工标注。第三种是强化研习,AI借助试错来研习,根据反馈持续精进自己的行为。
一、数字基础
1. 概率论和统计
比如概率,落地时,就是经过发生的可能性,实操中,像抛硬币,正面朝上的概率是50%。期望就是平均结果,比如抛100次硬币,换个角度看,大概有50次正面朝上;方差就是资料的波动程度。
2. 线性代数
向量是资料的载体,在实际应用里,矩阵是资料的集合。
3. 机器研习
损失函数和梯度下降。用“打靶”来给大家解释,换个角度看,损失函数就像是靶心和弹孔的距离,距离越近,在实际应用里,实操中,说明模型预测得越准确。梯度下降就是调整瞄准方向,一步步靠近靶心,让模型持续修正错误,变得更精准。
二、计算机底层支撑
1. 算力
AI处理海量资料,具体来看,需要很强的计算机性能,落地时,这里我们对比一下CPU和GPU:CPU就像“项目经理”,擅长复杂的推演决策。GPU就像“流水线工人”,擅长重复的并行事务,实操中,处理海量资料更快。比如我们训练一个图像识别模型,落地时,用GPU可能几小时就能完成,换个角度看,用CPU可能要几天。除了云端算力,在实际应用里,还有边缘算力。
2. 算据
资料要经过资料采集、资料治理、标注三个步骤:采集就是收集资料,比如用户行为、传感器资料;治理就是去除错误、重复的资料,比如将模糊的图片删掉;标注就是给资料贴标签,比如给图片标注“猫”“狗”。垃圾资料训练出垃圾模型,资料质量直接决定AI的成效。
3. 算法
算法是AI的“大脑”,执行层面,就是破解难题的步骤和办法。不同的算法,适合不同的情境。
一、伦理问题
伦理问题一:资料隐私
伦理问题二:算法公平性
伦理问题三:责任界定
二,安全问题
安全隐患一:技艺隐患
安全隐患二:社会隐患
三,业界运用情境
1. 互联网领域
2. 金融领域
3. 医疗领域
4. 教育领域
5. 其他领域
老师简介
Introduction to lecturers
弄懂更多
博闻智咨询|莫维老师
适合谁听
公司相关管人人员。建议同一家企业 3 人以上同来,课堂上直接改造本企业的实际问题——单人参加也能学到方法,但带不走可用的成果。
交付流程
课前:顾问访谈 2 位管理者,收集现状与问题清单,讲师据此调整案例。课中:讲授与演练各占一半,产出可直接用的工具与方案。课后:7 天内提交改进建议,30 天内一次线上答疑。
