大數(shù)據(jù)分析與挖掘綜合能力提升實戰(zhàn)（高階）

大數(shù)據(jù)分析與挖掘綜合能力提升實戰(zhàn)
【課程目標】
本課程為高階課程，面向所有業(yè)務(wù)支撐部門及數(shù)據(jù)分析部門。
本課程的主要目的是，幫助學員掌握一些業(yè)務(wù)專題挖掘模型，幫助學員建立對復雜業(yè)務(wù)問題的數(shù)據(jù)挖掘綜合能力。
本課程具體內(nèi)容包括：
數(shù)據(jù)挖掘流程，數(shù)據(jù)預處理
用戶專題分析：用戶群劃分/客戶價值評估/客戶偏好分析/用戶行為預測
產(chǎn)品專題分析：產(chǎn)品設(shè)計優(yōu)化、產(chǎn)品功能評估、產(chǎn)品最優(yōu)定價策略
精準推薦算法：協(xié)同過濾、關(guān)聯(lián)分析、基于內(nèi)容/用戶的推薦(CBR/UBR)
金融風險評估：信用評分卡模型、風險預測模型
本系列課程從實際的業(yè)務(wù)需求出發(fā)，結(jié)合行業(yè)的典型應(yīng)用特點，圍繞實際的商業(yè)問題，對數(shù)據(jù)預測建模的過程進行了全面的介紹（從模型選擇，到特征選擇，再到訓練模型，評估模型，以及優(yōu)化模型和模型解讀），通過大量的操作演練，幫助學員掌握數(shù)據(jù)建模的思路、方法、技巧，以提升學員的數(shù)據(jù)建模的能力，支撐運營決策的目的。
通過本課程的學習，達到如下目的：
熟悉數(shù)據(jù)挖掘的標準過程，熟悉每個步驟的具體操作。
掌握數(shù)據(jù)預處理的任務(wù)，熟練使用SPSS工具完成預處理。
熟練掌握常用的業(yè)務(wù)專題分析模型：
學會做市場客戶細分，劃分客戶群
學會實現(xiàn)客戶價值評估
學會產(chǎn)品功能設(shè)計與新產(chǎn)品銷量預測
熟悉產(chǎn)品定價策略，尋找產(chǎn)品最優(yōu)定價
熟悉精準推薦策略，學會精準推薦產(chǎn)品
掌握信用評分卡的模型構(gòu)建
【授課時間】
2-3天時間（每天6個小時）
【授課對象】
業(yè)務(wù)支撐部、運營分析部、數(shù)據(jù)分析部、大數(shù)據(jù)系統(tǒng)開發(fā)部等對業(yè)務(wù)數(shù)據(jù)分析有較高要求的相關(guān)人員?！緦W員要求】
每個學員自備一臺便攜機(必須)。
便攜機中事先安裝好Microsoft Office Excel 2013版本及以上。
便攜機中事先安裝好IBM SPSS Statistics v24版本及以上。
注：講師可以提供試用版本軟件及分析數(shù)據(jù)源。
【授課方式】
數(shù)據(jù)分析基礎(chǔ) + 方法講解 + 實際業(yè)務(wù)問題分析 + 工具實踐操作
采用互動式教學，圍繞業(yè)務(wù)問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學員在分析、分享、講授、總結(jié)、自我實踐過程中獲得能力提升。
【課程大綱】
數(shù)據(jù)挖掘流程—挖掘步驟篇
數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘的標準流程（CRISP-DM）
商業(yè)理解
數(shù)據(jù)準備
數(shù)據(jù)理解
模型建立
模型評估
模型應(yīng)用
案例：客戶流失預測及客戶挽留
數(shù)據(jù)集概述
SPSS工具介紹
數(shù)據(jù)挖掘常用模型
數(shù)據(jù)挖掘流程—數(shù)據(jù)預處理
如何整理數(shù)據(jù)，了解數(shù)據(jù)，對數(shù)據(jù)進行預處理？
數(shù)據(jù)預處理的四大任務(wù)
數(shù)據(jù)集成：多個數(shù)據(jù)集合并
數(shù)據(jù)清洗：異常值的處理
樣本處理：樣本篩選、樣本抽樣、樣本平衡
變量處理：變量變換、變量派生、變量精簡
數(shù)據(jù)集成（數(shù)據(jù)集合并）
樣本追加（添加數(shù)據(jù)行）：橫向合并
變量合并（添加變量列）：縱向合并
數(shù)據(jù)清洗（異常數(shù)據(jù)處理）
取值范圍限定
重復值處理
無效值/錯誤值處理
缺失值處理
離群值/極端值處理
數(shù)據(jù)質(zhì)量評估
樣本處理：行處理
樣本篩選：指定條件篩選指定樣本集（減少樣本數(shù)量）
樣本抽樣：隨機抽取部分樣本集（減少樣本數(shù)量）
樣本平衡：正反樣本比例均衡
變量處理：列處理
變量變換：原變量取值更新，比如標準化
變量派生：根據(jù)舊變量生成新的變量
變量精簡：變量刪除/降維，減少變量個數(shù)
類型轉(zhuǎn)換：數(shù)據(jù)類型的相互轉(zhuǎn)換
變量精簡/變量降維常用方法
常用降維方法
如何確定降維后變量個數(shù)
特征選擇：選擇重要變量，剔除不重要變量
基于變量本身特征來選擇屬性
基于數(shù)據(jù)間的相關(guān)性來選擇屬性
利用IV值篩選
基于信息增益來選擇屬性
因子合并：將多個變量進行合并
PCA主成分分析
判別分析
類型轉(zhuǎn)換
因子合并/主成分分析
因子分析的原因
因子個數(shù)選擇原則
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數(shù)據(jù)探索性分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
數(shù)據(jù)可視化
演練：各種圖形繪制
市場細分模型—聚類模型篇
問題：我們的客戶有幾類？各類特征是什么？如何實現(xiàn)客戶細分，開發(fā)符合細分市場的新產(chǎn)品？如何提取客戶特征，從而對產(chǎn)品進行市場定位？
市場細分的常用方法
有指導細分
無指導細分
聚類分析
如何更好的了解客戶群體和市場細分？
如何識別客戶群體特征？
如何確定客戶要分成多少適當?shù)念悇e？
聚類方法原理介紹
聚類方法作用及其適用場景
聚類分析的種類
K均值聚類
層次聚類
兩步聚類
K均值聚類（快速聚類）
案例：移動三大品牌細分市場合適嗎？
演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？
演練：如何自動評選優(yōu)秀員工？
演練：中國各省份發(fā)達程度分析，讓數(shù)據(jù)自動聚類
層次聚類（系統(tǒng)聚類）：發(fā)現(xiàn)多個類別
R型聚類與Q型聚類的區(qū)別
案例：中移動如何實現(xiàn)客戶細分及營銷策略
演練：中國省市經(jīng)濟發(fā)展情況分析（Q型聚類）
演練：裁判評分的標準衡量，避免“黑哨”（R型聚類）
兩步聚類
客戶細分與PCA分析法
PCA主成分分析的原理
PCA分析法的適用場景
演練：利用PCA對汽車客戶群進行細分
演練：如何針對汽車客戶群設(shè)計汽車
客戶價值評估—RFM模型篇
營銷問題：如何評估客戶的價值？不同的價值客戶有何區(qū)別對待？
如何評價客戶生命周期的價值
貼現(xiàn)率與留存率
評估客戶的真實價值
使用雙向表衡量屬性敏感度
變化的邊際利潤
案例：評估營銷行為的合理性
RFM模型（客戶價值評估）
RFM模型，更深入了解你的客戶價值
RFM模型與市場策略
RFM模型與活躍度分析
演練：“雙11”淘寶商家如何選擇價值客戶進行促銷
演練：結(jié)合響應(yīng)模型，宜家IKE實現(xiàn)最大化營銷利潤
案例：重購用戶特征分析
產(chǎn)品設(shè)計優(yōu)化—隨機效用理論
產(chǎn)品專題分析主要任務(wù)
產(chǎn)品設(shè)計分析
市場占有分析
累計銷量分析
定價策略分析
產(chǎn)品設(shè)計優(yōu)化（聯(lián)合分析法）
問題：如何設(shè)計最優(yōu)的功能特征？
評估功能特征的重要性
評估功能特征的價值
案例：產(chǎn)品開發(fā)與設(shè)計分析
產(chǎn)品評估模型（隨機效用理論）
屬性重要性評估
市場占有率評估
產(chǎn)品價格彈性評估
評估產(chǎn)品的品牌價值
動態(tài)調(diào)價（納會均衡價格）
案例：品牌價值與價格敏感度分析
案例：納什均衡價格
產(chǎn)品定價策略—最優(yōu)定價篇
營銷問題：產(chǎn)品如何實現(xiàn)最優(yōu)定價？套餐價格如何確定？采用哪種定價策略可達到利潤最大化？
常見的定價方法
產(chǎn)品定價的理論依據(jù)
需求曲線與利潤最大化
如何求解最優(yōu)定價
案例：產(chǎn)品最優(yōu)定價求解
如何評估需求曲線
價格彈性
曲線方程（線性、乘冪）
如何做產(chǎn)品組合定價
如何做產(chǎn)品捆綁/套餐定價
最大收益定價（演進規(guī)劃求解）
避免價格反轉(zhuǎn)的套餐定價
案例：電信公司的寬帶、IPTV、移動電話套餐定價
非線性定價原理
要理解支付意愿曲線
支付意愿曲線與需求曲線的異同
案例：雙重收費如何定價（如會費+按次計費）
階梯定價策略
案例：電力公司如何做階梯定價
數(shù)量折扣定價策略
案例：如何通過折扣來實現(xiàn)薄利多銷
定價策略的評估與選擇
案例：零售公司如何選擇最優(yōu)定價策略
航空公司的收益管理
收益管理介紹
如何確定機票預訂限制
如何確定機票超售數(shù)量
如何評估模型的收益
案例：FBN航空公司如何實現(xiàn)收益管理（預訂/超售）
產(chǎn)品推薦算法—推薦模型篇
問題：購買A產(chǎn)品的顧客還常常要購買其他什么產(chǎn)品？應(yīng)該給客戶推薦什么產(chǎn)品最有可能被接受？
從搜索引擎到推薦引擎
常用產(chǎn)品推薦模型及算法
基于流行度的推薦
基于排行榜的推薦，適用于剛注冊的用戶
優(yōu)化思路：分群推薦
基于內(nèi)容的推薦CBR
關(guān)鍵問題：如何計算物品的相似度
優(yōu)缺點
優(yōu)化：Rocchio算法、基于標簽的推薦、基于興趣度的推薦
基于用戶的推薦
關(guān)鍵問題：如何對用戶分類/計算用戶的相似度
算法：按屬性分類、RFM模型、PCA、聚類、按偏好分類、按地理位置
協(xié)同過濾的推薦
基于用戶的協(xié)同過濾
基于物品的協(xié)同過濾
冷啟動的問題
案例：計算用戶相似度、計算物品相似度
基于關(guān)聯(lián)分析的推薦
如何制定套餐，實現(xiàn)交叉/捆綁銷售
案例：啤酒與尿布、颶風與蛋撻
關(guān)聯(lián)分析模型原理（Association）
關(guān)聯(lián)規(guī)則的兩個關(guān)鍵參數(shù)
支持度
置信度
關(guān)聯(lián)分析的適用場景
案例：購物籃分析與產(chǎn)品捆綁銷售/布局優(yōu)化
案例：通信產(chǎn)品的交叉銷售與產(chǎn)品推薦
基于分類模型的推薦
其它推薦算法
LFM基于隱語義模型
按社交關(guān)系
基于時間上下文
多推薦引擎的協(xié)同工作
銀行信用評估—信用評分卡模型
信用評分卡模型簡介
評分卡的關(guān)鍵問題
信用評分卡建立過程
篩選重要屬性
數(shù)據(jù)集轉(zhuǎn)化
建立分類模型
計算屬性分值
確定審批閾值
篩選重要屬性
屬性分段
基本概念：WOE、IV
屬性重要性評估
數(shù)據(jù)集轉(zhuǎn)化
連續(xù)屬性最優(yōu)分段
計算屬性取值的WOE
建立分類模型
訓練邏輯回歸模型
評估模型
得到字段系數(shù)
計算屬性分值
計算補償與刻度值
計算各字段得分
生成評分卡
確定審批閾值
畫K-S曲線
計算K-S值
獲取最優(yōu)閾值
案例：構(gòu)建銀行小額貸款的用戶信用模型
結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程