课程背景
随着全球金融业界的数智化转型加速,资料已成为金融机构的核心方略资产。从传统银业界务到互联网金融、智能投顾、区块链支付等等新兴领域,资料的规模、复杂性和运用情境呈指数级增长。金融监管机构对资料治理的要求日益严格(如《资料安全法》《个人资讯保护法》),同时市场竞争倒逼公司借助资料挖掘买方价值、精进风控模型、达成精准营销。在这一来由下,资料仓库作为整合多源异构资料、支撑实时拆解和决策的核心基础设施,成为金融机构达成
“资料驱动业务”的要害引擎。可是,技艺迭代快、业务诉求多变、合规压力叠加,使得金融业界资料仓库的构筑面临前所未有的挑战。
当前金融机构在资料管控中存在三大核心痛点:其一,资料孤岛严重
,
核心交易系统、买方行为日志、外部市场资料分散于不同平台,难以高效整合;其二,合规和效率失衡
,
传统数仓架构难以兼顾实时
营销
/
风控响应和监管审计要求,资料分级、权限管控流程繁琐;其
三
,技艺架构僵化
,老旧系统扩展性不足,在实际应用里,无法支撑
AI建模、流式计算等等革新情境。
本课深度融合金融业界特性和前沿技艺实践,系统性破解上述痛点。课程以
“业务情境驱动”为核心,围绕资料仓库的
规划
-规划-治理-运用全生命周期展开:借助分层架构规划打破资料孤岛,借助实时数仓和离线数仓融合技艺拉升响应效率,结合资料分级、元资料管控等等抓手满足合规要求。同时,课程引入具体业界实例,支援参训者掌握从技艺选型到落地精进的完整办法论,助力公司达成资料资产的价值跃升。
课程收益
1. 增强资料拆解本领,拉升决策效率:
研习怎样借助
ETL流程整合多源异构资料,打破资料孤岛;掌握根据具体业务情境完成资料准则化的办法;采用开源或者商业抓手开展资料仓库分层规划,支持特定主题的资料集市,以拉升公司经营决策的准确性和速度。
2. 炼就统一资料平台,强化公司资产价值:
弄懂怎样构筑一个中心化的资料仓库,为公司内部不同部门提供一致的资料访问资源;利用这一平台高效完成
BI报表拆解、买方关系管控、营销活动策划等等核心运用,从而强化公司的资料资产价值。
3. 达成精准实时营销,改进买方体验:
基于实时资料处理技艺,在买方交易进程、在线行为轨迹等等要害时刻施行个性化营销打法;借助迅速响应买方诉求,拉升买方满意度和忠诚度,进而增强市场竞争力。
4. 紧跟技艺前沿,促成AI运用革新
:弄懂新兴技艺的演进趋势以及其对资料仓库的影响,研习怎样为
AI大模型训练提供高质量的资料支持,助力公司在AI领域的革新和演进。
5. 构筑资料驱动信念,增强竞争优势:
探索怎样将资料资产转化为公司的核心竞争力;借助实例研习资料资产管控的最佳实践,练就资料驱动的公司信念和品牌样貌,形成难以复制的竞争优势。
课程大纲
首讲:资料仓库分层架构规划
——从贴源层到运用集市的架构构筑
一、贴源层:缓冲区
STG规划(ODS)
1. 资料组织:和业务表一致
2. 资料输入:文件
3. 资料输出:STG区的表
4. 资料加工:贴源
5. 资料粒度:明细
6. 资料周期:按照需,一般以天为单位
7. 模型命令:<系统名>_<表名>_<日期>
二、资料明细层:基础模型区
DWD规划
1. 资料组织:按照业务主题划分
2. 资料输入:STG区的表
3. 资料输出:DWD区的表
4. 资料加工:范式或者维度建模
5. 资料粒度:明细(规范化清洗)
6. 资料周期:按照需,一般以年为单位
7. 模型命令:<主题名>_<实体名>
三、资料汇总层:汇总模型区
DWS规划
1. 资料组织:按照主题/技艺划分
2. 资料输入:DWD区的表
3. 资料输出:DWS区的表
4. 资料加工:维度汇总
5. 资料粒度:轻度汇总
6. 资料周期:按照需
7. 模型命令:<主题名>_<实体名>
四,主题集市层:主题集市区
DMB规划
1. 资料组织:按照业务特性划分
2. 资料输入:DWD/DWS区的表
3. 资料输出:DMB区的表
4. 资料加工:维度建模
5. 资料粒度:明细/轻度汇总
6. 资料周期:按照需
7. 模型命令:<主题名>_<实体名>
五、运用集市层:运用集市区
DMA规划(ADS)
1. 资料组织:按照主题/技艺划分
2. 资料输入:DMB区的表
3. 资料输出:DMA区的表
4. 资料加工:维度建模
5. 资料粒度:明细/汇总
6. 资料周期:按照需
7. 模型命令:<主题名>_<实体名>
实例
:以某金融机构资料仓库建设运用为例说明其资料仓库的分层架构。
次讲:资料仓库建设必要性
——
金融机构资料管控的方略选项
一、从六个维度对比资料仓库和资料库
1. 资料内容
1)资料库:重点关注当前数值
2)资料仓库:归档+实时
2. 运用标的
1)资料库:面向业务,多次采用
2)资料仓库:面向主题,管控决策
3. 资料特征
1)资料库:动态变化,实时更新
2)资料仓库:相对稳定(离线资料仓库,实时资料仓库除外)
4. 资料结构
1)资料库:高度结构化,相对复杂
2)资料仓库:被抽象成简单,适合拆解的主题
5. 采用频率
1)资料库:采用频率和业务强相关,相对较高
2)资料仓库:采用频率相对较低(T+1或者准实时)
6. 资料访问量
1)资料库:和业务运用情境相关,相对较少
2)资料仓库:资料访问量相对较大
二、资料仓库的四个特征
1. 面向主题,非面向运用
2. 资料经过集成,多源异构
3. 资料非易失性,相对稳定性
4. 资料的更新和变更随着时间持续变化
实例:
以某金融公司资料仓库升级为例,说明商业资料库和资料仓库建设的区别以及资料仓库建设的必要性。
三讲:常用资料仓库分类
——明晰现有公司资料仓库构成
一、离线资料仓库
1. 基于开源社区的离线资料仓库
2. 基于传统商业资料库厂商的离线资料仓库
二、实时资料仓库
1. 基于开源社区的实时资料仓库
2. 基于传统商业资料库厂商的实时资料仓库
实例:
借助华南某大行信用卡中心营销平台开发部署上线整体流程说明离线资料仓库和实时资料仓库的异同以及采用情境。
四讲:资料仓库全生命周期管控
——从业务建模到系统交付的实战流程
一、资料仓库建设的三大模块
1. 业务建模
1)业务域划分
2)确认业务进程
3)规划经过事实
4)确认相关实体
5)关联经过事实
6)构筑业务矩阵
2. 资料建模
1)确认业务领域
2)确认业务进程
3)确认维度
4)确认度量
5)确认退化维度属性
6)构筑星型模型
3. 物理建模
1)确认资料模型
2)确认表名
3)确认描述
4)确认分区字段
5)确认表关联
6)创建物理表
二、资料仓库公司施行整体流程
1. 业务调研
1)用户访谈
2)
收集业务资料
3)诉求整理拆解
4)概念资料模型规划
5)诉求确认
2. 资讯调研
1)现有系统调研
2)资料结构拆解
3)样本资料拆解
4)资料质量拆解
5)代码整理
3. LDM概要规划
1)拟定规范
2)分业务/主题模型规划,定义实体、关系、属性
3)业务规范整理
4)模型整合
5)推演模型回顾
4. PDM规划
1)资料表结构定义
2)非正则化处理
3)物理存储特性定义
4)性能精进,分区、索引规划
5)物理模型回顾
6)PDM达成—ETL开发
5. 系统交付
1)功能测试
2)系统上线(或者有系统集成)
3)验收
实例:
结合以上提到的真实公司资料仓库施行实例说明资料仓库落地的完整进程。
五讲:资料仓库生态构筑
——从采集到运用的全链路管控
一、资料源构成
1. 结构化资料
2. 非结构化资料
二、资料采集平台分类
1. 历史资料采集
2. 流资料采集
三、公司级资料管控平台的核心功能
1. 资料存储(冷/温/热)
2. 元资料管控
3. 资料质量管控
4. 资料准则化
5. 资料API访问
四、业务运用系统(
BI集成)的运用
1. 高层决策
2. 业务拆解
3. 外部调用
实例:
借助
BI运用说明资料仓库的整体生态构成
课程收束
1. 重点内容回顾
2. 课后差事跟进,推荐书籍:《资料仓库抓手箱》
3. 根据情况提供离线和实时资料仓库的功能达成代码给参训者采用
老师简介
Introduction to lecturers
弄懂更多
珀菲特顾问|王亚彬老师
适合谁听
ETL工程师、营销和风控业务人员、资料架构师、IT总监、资料治理专员、金融科技货品经理。建议同一家企业 3 人以上同来,课堂上直接改造本企业的实际问题——单人参加也能学到方法,但带不走可用的成果。
交付流程
课前:顾问访谈 2 位管理者,收集现状与问题清单,讲师据此调整案例。课中:讲授与演练各占一半,产出可直接用的工具与方案。课后:7 天内提交改进建议,30 天内一次线上答疑。
