數(shù)據(jù)倉庫的建設(shè)方法

【課程特色】

1.?? 課上采用案例式教學，通俗易懂，課下一對一輔導強化訓練，學與練交叉進行強化記憶，你所要做的就是認真聽，勤于問，樂于練。

2.?? 清晰的知識結(jié)構(gòu)，根據(jù)應(yīng)用經(jīng)驗采用最優(yōu)化授課模式。

3.?? 內(nèi)容充沛、詳略得當，前后呼應(yīng)。

4.?? 講師資歷豐富，具有豐富的實踐經(jīng)驗。

5.?? 知識講授+貼身案例+場景故事+互動討論+現(xiàn)場演練+落地跟蹤

【課程時間】2天

【課程大綱】

第1章 大數(shù)據(jù)與數(shù)據(jù)倉庫概論

1.1?大數(shù)據(jù)概論

1.1.1?什么是大數(shù)據(jù)

1.1.2?大數(shù)據(jù)生態(tài)圈簡介

1.1.3?大數(shù)據(jù)應(yīng)用場景

1.2?數(shù)據(jù)倉庫概論

1.2.1?什么是數(shù)據(jù)倉庫

1.2.2?數(shù)據(jù)倉庫能干什么

1.2.3?數(shù)據(jù)倉庫的特點

第2章 項目需求描述

2.1?任務(wù)概述

2.1.1?產(chǎn)品描述

2.1.2?系統(tǒng)目標

2.1.3?系統(tǒng)功能結(jié)構(gòu)

2.1.4?系統(tǒng)流程圖

2.2?業(yè)務(wù)描述

2.2.1?采集模塊業(yè)務(wù)描述

2.2.2?數(shù)據(jù)倉庫需求業(yè)務(wù)描述

2.2.3?數(shù)據(jù)可視化業(yè)務(wù)描述

2.3?系統(tǒng)運行環(huán)境

2.3.1?硬件環(huán)境

2.3.2?軟件環(huán)境

第3章 項目部署的環(huán)境準備

3.1 Linux環(huán)境準備

3.1.1 VMware安裝

3.1.2 CentOS安裝

3.1.3?遠程終端安裝

3.2 Linux環(huán)境配置

3.2.1?網(wǎng)絡(luò)配置

3.2.2?網(wǎng)絡(luò)IP地址配置

3.2.3?主機名配置

3.2.4?防火墻配置

3.2.5?一般用戶設(shè)置

3.3 Hadoop環(huán)境搭建

3.3.1?虛擬機環(huán)境準備

3.3.2 JDK安裝

3.3.3 Hadoop安裝

3.3.4 Hadoop分布式集群部署

3.3.5?配置Hadoop支持LZO壓縮

3.3.6?配置Hadoop支持Snappy壓縮

第4章 用戶行為數(shù)據(jù)采集模塊

4.1?日志生成

4.2?采集日志的Flume?

4.2.1 Flume組件

4.2.2 Flume安裝

4.2.3?采集日志Flume配置

4.2.4 Flume的ETL攔截器和日志類型區(qū)分攔截器

4.2.5?采集日志Flume啟動、停止腳本

4.3?消息隊列Kafka?

4.3.1 Zookeeper安裝

4.3.2 Zookeeper集群啟動、停止腳本

4.3.3 Kafka安裝

4.3.4 Kafka集群啟動、停止腳本

4.3.5 Kafka Topic相關(guān)操作

4.4?消費Kafka日志的Flume?

4.4.1?消費日志Flume配置

4.4.2?消費日志Flume啟動、停止腳本

4.5?采集通道啟動、停止腳本

第5章 業(yè)務(wù)數(shù)據(jù)采集模塊

5.1?電商業(yè)務(wù)概述

5.1.1?電商業(yè)務(wù)流程

5.1.2?電商常識

5.1.3?電商表結(jié)構(gòu)

5.1.4?數(shù)據(jù)同步策略

5.2?業(yè)務(wù)數(shù)據(jù)采集

5.2.1 MySQL安裝

5.2.2?業(yè)務(wù)數(shù)據(jù)生成

5.2.3?業(yè)務(wù)數(shù)據(jù)建模

5.2.4 Sqoop安裝

5.2.5?業(yè)務(wù)數(shù)據(jù)導入數(shù)據(jù)倉庫

第6章 數(shù)據(jù)倉庫搭建模塊

6.1?數(shù)據(jù)倉庫理論準備

6.1.1?范式理論

6.1.2?關(guān)系模型與維度模型

6.1.3?星形模型、雪花模型與星座模型

6.1.4?表的分類

6.1.5?為什么要分層

6.1.6?數(shù)據(jù)倉庫建模

6.1.7?業(yè)務(wù)術(shù)語

6.2?數(shù)據(jù)倉庫搭建環(huán)境準備

6.2.1 MySQL HA?

6.2.2 Hive安裝

6.2.3 Tez引擎安裝

6.3?數(shù)據(jù)倉庫搭建——ODS層

6.3.1?創(chuàng)建數(shù)據(jù)庫

6.3.2?用戶行為數(shù)據(jù)

6.3.3 ODS層用戶行為數(shù)據(jù)導入腳本

6.3.4?業(yè)務(wù)數(shù)據(jù)

6.3.5 ODS層業(yè)務(wù)數(shù)據(jù)導入腳本

6.4?數(shù)據(jù)倉庫搭建——DWD層

6.4.1?用戶行為啟動日志表解析

6.4.2?用戶行為事件表拆分

6.4.3?用戶行為事件表解析

6.4.4?業(yè)務(wù)數(shù)據(jù)維度表解析

6.4.5?業(yè)務(wù)數(shù)據(jù)事實表解析

6.4.6?拉鏈表構(gòu)建之用戶維度表

6.4.7 DWD層數(shù)據(jù)導入腳本

6.5?數(shù)據(jù)倉庫搭建——DWS層

6.5.1?系統(tǒng)函數(shù)

6.5.2?用戶行為數(shù)據(jù)聚合

6.5.3?業(yè)務(wù)數(shù)據(jù)聚合

6.5.4 DWS層數(shù)據(jù)導入腳本

6.6?數(shù)據(jù)倉庫搭建——DWT層

6.6.1?設(shè)備主題寬表

6.6.2?會員主題寬表

6.6.3?商品主題寬表

6.6.4?優(yōu)惠券主題寬表

6.6.5?活動主題寬表

6.6.6 DWT層數(shù)據(jù)導入腳本

6.7?數(shù)據(jù)倉庫搭建——ADS層

6.7.1?設(shè)備主題

6.7.2?會員主題

6.7.3?商品主題

6.7.4?營銷主題

6.7.5 ADS層數(shù)據(jù)導入腳本

6.8?結(jié)果數(shù)據(jù)導出腳本

6.9?會員主題指標獲取的全調(diào)度流程

6.9.1 Azkaban安裝

6.9.2?創(chuàng)建可視化的MySQL數(shù)據(jù)庫和表

6.9.3?編寫指標獲取調(diào)度流程

第7章 數(shù)據(jù)可視化模塊

7.1?模擬可視化數(shù)據(jù)

7.1.1?會員主題

7.1.2?地區(qū)主題

7.2 Superset部署

7.2.1?環(huán)境準備

7.2.2 Superset安裝

7.3 Superset使用

7.3.1?對接MySQL數(shù)據(jù)源

7.3.2?制作儀表盤

第8章 即席查詢模塊

8.1 Presto?

8.1.1 Presto特點

8.1.2 Presto安裝

8.1.3 Presto優(yōu)化之數(shù)據(jù)存儲

8.1.4 Presto優(yōu)化之查詢SQL?

8.1.5 Presto注意事項

8.2 Druid?

8.2.1 Druid簡介

8.2.2 Druid框架原理

8.2.3 Druid數(shù)據(jù)結(jié)構(gòu)

8.2.4 Druid安裝（單機版）

8.3 Kylin?

8.3.1 Kylin簡介

8.3.2 HBase安裝

8.3.3 Kylin安裝

8.3.4 Kylin使用

8.3.5 Kylin Cube構(gòu)建原理

8.3.6 Kylin Cube構(gòu)建優(yōu)化

8.3.7 Kylin BI工具集成

8.4?即席查詢框架對比

第9章 元數(shù)據(jù)管理模塊

9.1 Atlas入門

9.1.1 Atlas概述

9.1.2 Atlas架構(gòu)原理

9.2 Atlas安裝及使用

9.2.1?安裝前環(huán)境準備

9.2.2?集成外部框架

9.2.3?集群啟動

9.2.4?導入Hive元數(shù)據(jù)到Atlas?

9.3 Atlas界面查看及使用

9.3.1?查看基本信息

9.3.2?查看血緣依賴關(guān)系

?

劉暉老師的其它課程