Python數(shù)據(jù)挖掘(專題篇)

Python數(shù)據(jù)挖掘?qū)ｎ}實戰(zhàn)培訓(xùn)【課程目標(biāo)】
本課程主要講解如何利用Python進(jìn)行時間序列的數(shù)據(jù)建模。
通過本課程的學(xué)習(xí)，達(dá)到如下目的：
全面掌握Python語言以及其編程思想。
掌握常用擴(kuò)展庫的使用，特別是數(shù)據(jù)挖掘相關(guān)庫的使用。
學(xué)會使用Python完成數(shù)據(jù)挖掘項目整個過程。
掌握利用Python實現(xiàn)可視化呈現(xiàn)。
掌握數(shù)據(jù)挖掘常見算法在Python中的實現(xiàn)。
【授課時間】
2-5天時間
（要根據(jù)學(xué)員的實際情況調(diào)整重點內(nèi)容及時間）
【授課對象】
業(yè)務(wù)支持部、IT系統(tǒng)部、大數(shù)據(jù)系統(tǒng)開發(fā)部、大數(shù)據(jù)分析中心、網(wǎng)絡(luò)運維部等相關(guān)技術(shù)人員。
【學(xué)員要求】
每個學(xué)員自備一臺便攜機(jī)(必須)。
便攜機(jī)中事先安裝好Python 3.9版本及以上。
安裝好Numpy,Pandas,statsmodels,sklearn,scipy等常用庫。
注：講師現(xiàn)場提供分析的數(shù)據(jù)源。
【授課方式】
語言基礎(chǔ) + 挖掘模型 + 案例演練 + 開發(fā)實踐 + 可視化呈現(xiàn)
采用互動式教學(xué)，圍繞業(yè)務(wù)問題，展開數(shù)據(jù)分析過程，全過程演練操作，讓學(xué)員在分析、分享、講授、總結(jié)、自我實踐過程中獲得能力提升。
【課程大綱】
數(shù)據(jù)挖掘基礎(chǔ)
數(shù)據(jù)挖掘概述
數(shù)據(jù)挖掘的標(biāo)準(zhǔn)流程（CRISP-DM）
商業(yè)理解
數(shù)據(jù)準(zhǔn)備
數(shù)據(jù)理解
模型建立
模型評估
模型應(yīng)用
案例：客戶流失預(yù)測及客戶挽留
數(shù)據(jù)挖掘常用模型
數(shù)據(jù)預(yù)處理篇
數(shù)據(jù)預(yù)處理的主要任務(wù)
數(shù)據(jù)集成：多個數(shù)據(jù)集的合并
數(shù)據(jù)清理：異常值的處理
數(shù)據(jù)處理：數(shù)據(jù)篩選、數(shù)據(jù)精簡、數(shù)據(jù)平衡
變量處理：變量變換、變量派生、變量精簡
數(shù)據(jù)歸約：實現(xiàn)降維，避免維災(zāi)難
數(shù)據(jù)集成
數(shù)據(jù)追加（添加數(shù)據(jù)）
變量合并（添加變量）
數(shù)據(jù)理解（異常數(shù)據(jù)處理）
取值范圍限定
重復(fù)值處理
無效值/錯誤值處理
缺失值處理
離群值/極端值處理
數(shù)據(jù)質(zhì)量評估
數(shù)據(jù)準(zhǔn)備：數(shù)據(jù)處理
數(shù)據(jù)篩選：數(shù)據(jù)抽樣/選擇（減少樣本數(shù)量）
數(shù)據(jù)精簡：數(shù)據(jù)分段/離散化（減少變量的取值個數(shù)）
數(shù)據(jù)平衡：正反樣本比例均衡
數(shù)據(jù)準(zhǔn)備：變量處理
變量變換：原變量取值更新，比如標(biāo)準(zhǔn)化
變量派生：根據(jù)舊變量生成新的變量
變量精簡：降維，減少變量個數(shù)
數(shù)據(jù)降維
常用降維的方法
如何確定變量個數(shù)
特征選擇：選擇重要變量，剔除不重要的變量
從變量本身考慮
從輸入變量與目標(biāo)變量的相關(guān)性考慮
對輸入變量進(jìn)行合并
因子分析（主成分分析）
因子分析的原理
因子個數(shù)如何選擇
如何解讀因子含義
案例：提取影響電信客戶流失的主成分分析
數(shù)據(jù)探索性分析
常用統(tǒng)計指標(biāo)分析
單變量：數(shù)值變量/分類變量
雙變量：交叉分析/相關(guān)性分析
多變量：特征選擇、因子分析
演練：描述性分析（頻數(shù)、描述、探索、分類匯總）
數(shù)據(jù)可視化
數(shù)據(jù)可視化：柱狀圖、條形圖、餅圖、折線圖、箱圖、散點圖等
圖形的表達(dá)及適用場景
演練：各種圖形繪制
用戶專題分析
用戶專題分析的主要任務(wù)
客戶群細(xì)分與聚類分析
問題：我們的客戶有幾類？各類特征是什么？如何實現(xiàn)客戶細(xì)分，開發(fā)符合細(xì)分市場的新產(chǎn)品？
聚類方法原理介紹
聚類方法作用及其適用場景
聚類分析的種類
K均值聚類
案例：移動三大品牌細(xì)分市場合適嗎？
演練：寶潔公司如何選擇新產(chǎn)品試銷區(qū)域？
演練：如何評選優(yōu)秀員工？
演練：中國各省份發(fā)達(dá)程度分析，讓數(shù)據(jù)自動聚類
最優(yōu)K值選擇
Elbow手肘法
Silhouette Coefficient輪廓系數(shù)
Calinski-Harabasz Index準(zhǔn)則
雙聚類bicluster及評估
譜聚類聯(lián)合
聯(lián)合譜聚類SpectralCoclustering雙向譜聚類SpectralBiclusteringDBSCAN鄰近聚類
客戶喜好評估與主成分分析PCA
營銷問題：如何匯聚大眾的共同喜好？
主成分分析方法介紹
主成分分析基本思想
主成分分析步驟
案例：如何評估汽車購買者的客戶細(xì)分市場
客戶價值評估與RFM模型
營銷問題：如何評估客戶的價值？不同的價值客戶有何區(qū)別對待？
RFM模型（客戶價值評估）
RFM模型，更深入了解你的客戶價值
RFM模型與市場策略
RFM模型與活躍度分析
案例：淘寶客戶價值評估與促銷名單
案例：重購用戶特征分析
產(chǎn)品專題分析
產(chǎn)品專題分析主要任務(wù)
產(chǎn)品設(shè)計分析
市場占有分析
累計銷量分析
定價策略分析
產(chǎn)品設(shè)計優(yōu)化（聯(lián)合分析法）
問題：如何設(shè)計最優(yōu)的功能特征？
評估功能特征的重要性
評估功能特征的價值
案例：產(chǎn)品開發(fā)與設(shè)計分析
產(chǎn)品評估模型（隨機(jī)效用理論）
屬性重要性評估
市場占有率評估
產(chǎn)品價格彈性評估
評估產(chǎn)品的品牌價值
動態(tài)調(diào)價（納會均衡價格）
案例：品牌價值與價格敏感度分析
案例：納什均衡價格
產(chǎn)品定價策略
營銷問題：產(chǎn)品如何實現(xiàn)最優(yōu)定價？套餐價格如何確定？采用哪些定價策略可達(dá)到利潤最大化？
常見的定價方法
產(chǎn)品定價的理論依據(jù)
需求曲線與利潤最大化
如何求解最優(yōu)定價
案例：產(chǎn)品最優(yōu)定價求解
如何評估需求曲線
價格彈性
曲線方程（線性、乘冪）
如何做產(chǎn)品組合定價
如何做產(chǎn)品捆綁/套餐定價
最大收益定價（演進(jìn)規(guī)劃求解）
避免價格反轉(zhuǎn)的套餐定價
案例：電信公司的寬帶、IPTV、移動電話套餐定價
非線性定價原理
要理解支付意愿曲線
支付意愿曲線與需求曲線的異同
案例：雙重收費如何定價（如會費+按次計費）
階梯定價策略
案例：電力公司如何做階梯定價
數(shù)量折扣定價策略
案例：如何通過折扣來實現(xiàn)薄利多銷
定價策略的評估與選擇
案例：零售公司如何選擇最優(yōu)定價策略
航空公司的收益管理
收益管理介紹
如何確定機(jī)票預(yù)訂限制
如何確定機(jī)票超售數(shù)量
如何評估模型的收益
案例：FBN航空公司如何實現(xiàn)收益管理（預(yù)訂/超售）
產(chǎn)品推薦與協(xié)同過濾
問題：購買A產(chǎn)品的顧客還常常要購買其他什么產(chǎn)品？應(yīng)該給客戶推薦什么產(chǎn)品最有可能被接受？
從搜索引擎到推薦引擎
常用產(chǎn)品推薦模型及算法
基于流行度的推薦
基于排行榜的推薦，適用于剛注冊的用戶
優(yōu)化思路：分群推薦
基于內(nèi)容的推薦CBR
關(guān)鍵問題：如何計算物品的相似度
優(yōu)缺點
優(yōu)化：Rocchio算法、基于標(biāo)簽的推薦、基于興趣度的推薦
基于用戶的推薦
關(guān)鍵問題：如何對用戶分類/計算用戶的相似度
算法：按屬性分類、按偏好分類、按地理位置
協(xié)同過濾的推薦
基于用戶的協(xié)同過濾
基于物品的協(xié)同過濾
冷啟動的問題
案例：計算用戶相似度、計算物品相似度
基于分類模型的推薦
其它推薦算法
LFM基于隱語義模型
按社交關(guān)系
基于時間上下文
多推薦引擎的協(xié)同工作
信用評分卡模型
信用評分卡模型簡介
評分卡的關(guān)鍵問題
信用評分卡建立過程
篩選重要屬性
數(shù)據(jù)集轉(zhuǎn)化
建立分類模型
計算屬性分值
確定審批閾值
篩選重要屬性
屬性分段
基本概念：WOE、IV
屬性重要性評估
數(shù)據(jù)集轉(zhuǎn)化
連續(xù)屬性最優(yōu)分段
計算屬性取值的WOE
建立分類模型
訓(xùn)練邏輯回歸模型
評估模型
得到字段系數(shù)
計算屬性分值
計算補(bǔ)償與刻度值
計算各字段得分
生成評分卡
確定審批閾值
畫K-S曲線
計算K-S值
獲取最優(yōu)閾值
交叉銷售與關(guān)聯(lián)規(guī)則
關(guān)聯(lián)規(guī)則概述
常用關(guān)聯(lián)規(guī)則算法
Apriori算法
發(fā)現(xiàn)頻繁集
生成關(guān)聯(lián)規(guī)則
FP-Growth算法
構(gòu)建FP樹
提取規(guī)則
案例：使用apriori實現(xiàn)關(guān)聯(lián)分析
基于關(guān)聯(lián)分析的推薦
如何制定套餐，實現(xiàn)交叉/捆綁銷售
案例：啤酒與尿布、颶風(fēng)與蛋撻
關(guān)聯(lián)分析模型原理（Association）
關(guān)聯(lián)規(guī)則的兩個關(guān)鍵參數(shù)
支持度
置信度
關(guān)聯(lián)分析的適用場景
案例：購物籃分析與產(chǎn)品捆綁銷售/布局優(yōu)化
案例：通信產(chǎn)品的交叉銷售與產(chǎn)品推薦
結(jié)束：課程總結(jié)與問題答疑。

傅一航老師的其它課程