《大數(shù)據(jù)平臺(tái)架構(gòu)》

《大數(shù)據(jù)平臺(tái)架構(gòu)》——段方 北京大學(xué)博士后
1 背景
1.1 概述
1.1.1 大數(shù)據(jù)的概念和特點(diǎn)
1.1.2 大數(shù)據(jù)在不同領(lǐng)域中的應(yīng)用
1.2 技術(shù)發(fā)展歷史
1.2.1 數(shù)據(jù)統(tǒng)計(jì)系統(tǒng)
1.2.2 數(shù)據(jù)倉(cāng)庫(kù)系統(tǒng)
1.2.3 大數(shù)據(jù)系統(tǒng)
1.2.4 發(fā)展歷程中的關(guān)鍵技術(shù)路線(xiàn)圖
1.3
1.4 應(yīng)用發(fā)展歷史
1.4.1 報(bào)表和 KPI
1.4.2 數(shù)據(jù)挖掘/人工智能
1.4.3 對(duì)外服務(wù)
1.4.4 大數(shù)據(jù)運(yùn)營(yíng)
1.5 為什么是大數(shù)據(jù)
1.5.1 數(shù)據(jù)洞察一切
1.5.2 管理比拼的是技術(shù)能力
1.5.3 人工智能建立在大數(shù)據(jù)基礎(chǔ)上
1.5.4 亟待新的管理理論突破
工業(yè)文明的管理理念
信息文明的管理理念呢？
1.6 【案例】大數(shù)據(jù)在一些行業(yè)的應(yīng)用案例
2 系統(tǒng)架構(gòu)實(shí)例
2.1 系統(tǒng)架構(gòu)演進(jìn)歷史
2.1.1 數(shù)據(jù)庫(kù)階段
2.1.2 數(shù)據(jù)倉(cāng)庫(kù)階段
數(shù)據(jù)標(biāo)準(zhǔn)
系統(tǒng)標(biāo)準(zhǔn) 技術(shù)選型
數(shù)據(jù)管理設(shè)計(jì)
2.1.3 大數(shù)據(jù)階段 HADOOP 等技術(shù)引入 中間的混搭架構(gòu)階段 目標(biāo)的大數(shù)據(jù)架構(gòu)
2.2 兩級(jí)架構(gòu)緣起
2.2.1 從兩級(jí)法人說(shuō)起
2.2.2 靈活性與標(biāo)準(zhǔn)性
2.2.3 不同階段的不同理念
2.3 大數(shù)據(jù)的集中化
2.3.1 為什么要集中化？
2.3.2 大數(shù)據(jù)的審計(jì)職能
2.3.3 大數(shù)據(jù)的應(yīng)用價(jià)值點(diǎn)
2.3.4 集中化的“痛”與“必然”
2.4 單點(diǎn)架構(gòu)概述
2.4.1 整體架構(gòu)
2.4.2 數(shù)據(jù)倉(cāng)庫(kù)平臺(tái)
2.4.3 大數(shù)據(jù)平臺(tái)
2.4.4 數(shù)據(jù)管理架構(gòu)
2.4.5 數(shù)據(jù)應(yīng)用架構(gòu)
2.5 大數(shù)據(jù)架構(gòu)詳述
2.5.1 HADOOP 等技術(shù)族
2.5.2 HBASE/HIVE 設(shè)計(jì)
2.5.3 SPARK 設(shè)計(jì)
2.5.4 數(shù)據(jù)質(zhì)量控制
2.5.5 數(shù)據(jù)源選擇
2.6 架構(gòu)設(shè)計(jì)的關(guān)鍵點(diǎn)
2.6.1 技術(shù)成熟度
2.6.2 架構(gòu)設(shè)計(jì)的原則
2.6.3 架構(gòu)設(shè)計(jì)的風(fēng)險(xiǎn)點(diǎn)
2.7 平衡的藝術(shù)
2.7.1 混搭的原因分析
2.7.2 硬件成本和人力成本
2.7.3 與業(yè)務(wù)發(fā)展的步調(diào)平衡
2.7.4 數(shù)據(jù)分析師的知識(shí)平衡
2.8 【案例】某企業(yè)大數(shù)據(jù)平臺(tái)架構(gòu)介紹
3 數(shù)據(jù)處理實(shí)例
3.1 概述
3.1.1 數(shù)據(jù)標(biāo)準(zhǔn)
3.1.2 業(yè)務(wù)標(biāo)準(zhǔn)
3.1.3 管理標(biāo)準(zhǔn)
3.2 數(shù)據(jù)內(nèi)容
3.2.1 客戶(hù)數(shù)據(jù)
3.2.2 產(chǎn)品數(shù)據(jù)
3.2.3 營(yíng)銷(xiāo)數(shù)據(jù)
3.2.4 員工數(shù)據(jù)
3.2.5 服務(wù)數(shù)據(jù)
3.3 數(shù)據(jù)標(biāo)準(zhǔn)的顆粒度
3.3.1 詳細(xì)數(shù)據(jù)
3.3.2 匯總數(shù)據(jù)
3.3.3 衍生數(shù)據(jù)
3.4 數(shù)據(jù)如何收集
3.4.1 從內(nèi)部各個(gè) IT 系統(tǒng)獲取
3.4.2 外部數(shù)據(jù)獲取方法
3.4.3 批量獲取/實(shí)時(shí)獲取
3.5 數(shù)據(jù)清洗過(guò)程
3.5.1 數(shù)據(jù)抽取
3.5.2 數(shù)據(jù)轉(zhuǎn)換
3.5.3 數(shù)據(jù)加載
3.6 跨平臺(tái)數(shù)據(jù)接口標(biāo)準(zhǔn)
3.6.1 數(shù)據(jù)接口的定義
3.6.2 數(shù)據(jù)接口的管理職責(zé)
3.6.3 接口設(shè)計(jì)的原則
3.7 邏輯模型設(shè)計(jì)及實(shí)例
3.7.1 原因
3.7.2 邏輯模型設(shè)計(jì)的原則
3.7.3 設(shè)計(jì)實(shí)例
3.8 物理模型設(shè)計(jì)及實(shí)例
3.8.1 原因
3.8.2 物理模型設(shè)計(jì)原則
3.8.3 設(shè)計(jì)實(shí)例
3.9 數(shù)據(jù)字典及實(shí)例
3.9.1 概念
3.9.2 范圍和內(nèi)容
3.9.3 設(shè)計(jì)實(shí)例
3.10 【案例】某企業(yè)的數(shù)據(jù)資產(chǎn)治理案例
4 數(shù)據(jù)分析方法
4.1 綜述
4.1.1 確定業(yè)務(wù)問(wèn)題
4.1.2 選擇數(shù)據(jù)
4.1.3 選擇分析方法
4.1.4 評(píng)估分析方法
4.1.5 “最后一公里” 問(wèn)題
4.1.6 數(shù)據(jù)的可視化
4.2 統(tǒng)計(jì)分析
4.2.1 統(tǒng)計(jì)分析的概念
4.2.2 統(tǒng)計(jì)分析的特點(diǎn)
4.2.3 統(tǒng)計(jì)分析的應(yīng)用
4.3 OLAP 分析
4.3.1 cube 的概念
4.3.2 上鉆和下鉆
4.3.3 OLAP 如何分析問(wèn)題
4.3.4 OLAP 工具舉例
4.3.5 【案例】 OLAP 分析實(shí)例
4.4 數(shù)據(jù)挖掘分析
4.4.1 數(shù)據(jù)挖掘概念
4.4.2 數(shù)據(jù)挖掘算法介紹
4.4.3 數(shù)據(jù)挖掘工具舉例
4.4.4 【案例】數(shù)據(jù)挖掘?qū)嶋H案例
4.5 人工智能分析
4.5.1 人工智能的發(fā)展歷史
4.5.2 人工智能的突破點(diǎn)
4.5.3 人工智能的算法
4.5.4 人工智能在金融行業(yè)應(yīng)用案例
4.5.5 【案例】人工智能算法的應(yīng)用案例（語(yǔ)音識(shí)別+圖像識(shí) 別）
4.6 【案例】人工智能在電信領(lǐng)域中的應(yīng)用
5 大數(shù)據(jù)應(yīng)用內(nèi)容
5.1 從泰勒經(jīng)濟(jì)學(xué)說(shuō)起
5.1.1 簡(jiǎn)述泰勒經(jīng)濟(jì)學(xué)
5.1.2 數(shù)據(jù)與企業(yè)管理的天然聯(lián)系
5.1.3 讓大數(shù)據(jù)滲透到企業(yè)的每個(gè)毛孔
5.2 客戶(hù)分析
5.2.1 客戶(hù)的數(shù)據(jù)維度
5.2.2 客戶(hù)視圖分析
5.2.3 客戶(hù)離網(wǎng)分析等
5.2.4 客戶(hù)細(xì)分分析
5.3 產(chǎn)品分析
5.3.1 產(chǎn)品數(shù)據(jù)維度
5.3.2 產(chǎn)品視圖分析
5.3.3 產(chǎn)品的潛在客戶(hù)分析
5.3.4 產(chǎn)品交叉分析
5.4 精準(zhǔn)營(yíng)銷(xiāo)
5.4.1 營(yíng)銷(xiāo)的本質(zhì)——配對(duì)
5.4.2 精準(zhǔn)營(yíng)銷(xiāo)——數(shù)據(jù)的魅力
5.4.3 營(yíng)銷(xiāo)時(shí)機(jī)、渠道等選擇
5.5 員工的管理
5.5.1 員工的量化分析
5.5.2 大數(shù)據(jù)下的 “辦公室分析”
5.5.3 員工績(jī)效考評(píng)
5.5.4 如何避免“蒼蠅犯大案”
5.6 外部生態(tài)圈的管理
5.6.1 生態(tài)圈的概念
5.6.2 金融企業(yè)的生態(tài)圈
5.6.3 上下游企業(yè)的管理
5.6.4 如何識(shí)別渠道欺詐？
6 某個(gè)大數(shù)據(jù)應(yīng)用實(shí)例
6.1 【案例】外來(lái)工群體細(xì)分及營(yíng)銷(xiāo)
6.1.1 問(wèn)題定義
哪個(gè) KPI?
具體的口徑
6.1.2 可選方法分析
數(shù)據(jù)分析 算法分析
6.1.3 潛在客戶(hù)特征分析
客戶(hù)樣本選擇 客戶(hù)特征描述
6.1.4 客戶(hù)細(xì)分實(shí)例
挖掘關(guān)鍵變量篩選
決策樹(shù)分析實(shí)例
客戶(hù)分群的營(yíng)銷(xiāo)建議
6.1.5 營(yíng)銷(xiāo)方案設(shè)計(jì)
營(yíng)銷(xiāo)渠道選擇 營(yíng)銷(xiāo)時(shí)機(jī)選擇 營(yíng)銷(xiāo)實(shí)例
6.1.6 營(yíng)銷(xiāo)過(guò)程
營(yíng)銷(xiāo)案實(shí)例 多波次設(shè)計(jì)
6.1.7 效果評(píng)估
LIFT 等
折算成經(jīng)濟(jì)效果 折算的社會(huì)效果
6.1.8 項(xiàng)目總結(jié)
7 大數(shù)據(jù)相關(guān)思考
7.1 大數(shù)據(jù)的建設(shè)
7.1.1 有哪些數(shù)據(jù)
7.1.2 收集哪些數(shù)據(jù)
7.1.3 采用什么技術(shù)
7.1.4 系統(tǒng)架構(gòu)的設(shè)計(jì)
7.1.5 工程項(xiàng)目如何管理
7.2 大數(shù)據(jù)的管理
7.2.1 數(shù)據(jù)質(zhì)量如何評(píng)估
7.2.2 數(shù)據(jù)質(zhì)量如何控制
7.2.3 管理的作用甚于技術(shù)
7.2.4 數(shù)據(jù)資產(chǎn)的價(jià)值
7.3 大數(shù)據(jù)的應(yīng)用
7.3.1 從業(yè)務(wù)需求出發(fā)
7.3.2 技術(shù)驅(qū)動(dòng)和業(yè)務(wù)驅(qū)動(dòng)結(jié)合
7.3.3 應(yīng)用的突破點(diǎn)
7.3.4 應(yīng)用的總體設(shè)計(jì)和規(guī)劃
7.4 應(yīng)用價(jià)值的評(píng)估
7.4.1 應(yīng)用的評(píng)估方法
7.4.2 應(yīng)用的時(shí)效性
7.5 還有哪些“痛 ”
7.5.1 如何容忍“互撕期 ”
7.5.2 數(shù)據(jù)質(zhì)量的“苦 ”
7.5.3 技術(shù)選型的“惑 ”
7.5.4 項(xiàng)目管理的“難 ”
7.5.5 人才培養(yǎng)的“狂 ”
8 總結(jié)

段方老師的其它課程