使用python做數(shù)據(jù)分析5天

使用python做數(shù)據(jù)分析
課程介紹
本課程是使用python做數(shù)據(jù)分析的課程
課程目標(biāo)
理解python的特征
知曉python的結(jié)構(gòu)
會(huì)使用相應(yīng)方法，完成部分?jǐn)?shù)據(jù)分析工作
培訓(xùn)對(duì)象
有數(shù)據(jù)庫(kù)基礎(chǔ)知識(shí)
有編程基礎(chǔ)知識(shí)
有統(tǒng)計(jì)學(xué)基本知識(shí)
有數(shù)據(jù)分析、數(shù)據(jù)挖掘、統(tǒng)計(jì)分析的基本概念對(duì)數(shù)據(jù)分析感興趣
課程長(zhǎng)度
5天
課程內(nèi)容
第1天
主題
Python的優(yōu)點(diǎn)和不足
大綱
優(yōu)點(diǎn)
1、python語言更接近自然語言
2、python是開放源碼的自由軟件
3、python可移植在各種平臺(tái)上
4、python支持面向過程的函數(shù)編程，也支持面向?qū)ο蟮某橄缶幊?br /> 5、可擴(kuò)展和可嵌入
6、各種功能豐富的庫(kù)
7、編碼規(guī)范。各種強(qiáng)制縮進(jìn)方式提供了可讀性。
不足
8、運(yùn)行速度可能不理想。
9、python是開源軟件，通過封裝加密進(jìn)行商業(yè)化，就是一個(gè)問題。
10,、繁多的標(biāo)準(zhǔn)庫(kù)和第三方庫(kù)
主題
重要的python庫(kù)
大綱
1、NumPy （numerical python）
2、Pandas 處理結(jié)構(gòu)化數(shù)據(jù)的大量數(shù)據(jù)結(jié)構(gòu)和函數(shù)
3、Matplotlib 繪制數(shù)據(jù)圖表
4、IPython 交互式窗口，科學(xué)計(jì)算工具集的一部分
5、SciPy 專門解決科學(xué)計(jì)算中，標(biāo)準(zhǔn)問題域的包的集合。
6、Scikit-learn 機(jī)器學(xué)習(xí)庫(kù)
主題
Python的安裝和配置
大綱
1、anaconda
2、Windows系統(tǒng)下的安裝
3、Linux系統(tǒng)下的安裝
主題
Ipython基礎(chǔ)
大綱
1、IPython交互式計(jì)算和開發(fā)環(huán)境
2、Ipython啟動(dòng)、簡(jiǎn)單命令
3、內(nèi)省
4、使用歷史命令
5、與操作系統(tǒng)交互
6、軟件開發(fā)工具
7、ipython html notebook
8、用ipython提高代碼開發(fā)效率
9、ipython高級(jí)功能
主題
Ipython編碼效率與高級(jí)功能
大綱
1、利用python提高代碼效率的幾點(diǎn)提示
2、高級(jí)Ipython功能
第2天
主題
numpy數(shù)組和矢量計(jì)算
大綱
1、NumPy的ndarray：多維數(shù)組
2、通用函數(shù) 數(shù)組函數(shù)
3、利用數(shù)組進(jìn)行數(shù)據(jù)處理
4、用于數(shù)組文件的輸入輸出
5、線性代數(shù)
6、隨機(jī)數(shù)生產(chǎn)
7、隨機(jī)漫步
主題
pandas 數(shù)據(jù)處理分析工具
大綱
1、pandas的數(shù)據(jù)結(jié)構(gòu)介紹
2、基本功能
3、匯總和計(jì)算描述統(tǒng)計(jì)
4、處理缺失數(shù)據(jù)
5、層次化索引
6、其他有關(guān)pandas的話題
主題
數(shù)據(jù)加載 轉(zhuǎn)儲(chǔ)
大綱
1、讀寫文本格式的數(shù)據(jù)
2、二進(jìn)制數(shù)據(jù)格式
3、使用HTML和Web API
4、使用數(shù)據(jù)庫(kù)
5、使用excel文件
6、使用hadoop大數(shù)據(jù)
主題
簡(jiǎn)單數(shù)據(jù)清洗
大綱
1、合并數(shù)據(jù)集
2、重塑和軸向旋轉(zhuǎn)
3、數(shù)據(jù)轉(zhuǎn)換
4、字符串操作
主題
python的繪圖和可視化
大綱
1、python的圖形化工具生態(tài)系統(tǒng)
2、matplotlib API入門
3、pandas中的繪圖函數(shù)
4、繪制地圖
第3天
主題
數(shù)據(jù)的分組計(jì)算--分層樣本
大綱
1、GroupBy技術(shù)
2、數(shù)據(jù)聚合
3、分組運(yùn)算和轉(zhuǎn)換
4、透視表和交叉表
主題
時(shí)間序列
大綱
1、日期和時(shí)間數(shù)據(jù)類型及工具
2、時(shí)間序列基礎(chǔ)
3、日期的范圍、頻率以及移動(dòng)
4、時(shí)區(qū)處理
5、時(shí)期及其算數(shù)運(yùn)算
6、重采樣及頻率轉(zhuǎn)換
7、時(shí)間序列繪圖
8、移動(dòng)窗口函數(shù)
9、性能和內(nèi)存使用方面的注意事項(xiàng)
主題
numpy高級(jí)應(yīng)用
大綱
1、ndarray對(duì)象的內(nèi)部機(jī)制
2、高級(jí)數(shù)組操作
3、廣播
4、ufunc高級(jí)應(yīng)用
5、結(jié)構(gòu)化和記錄式數(shù)組
6、關(guān)于排序
7、numpy的matrix類
8、高級(jí)數(shù)組輸入輸出
9、性能建議
主題
蒙特卡洛模擬
大綱
1、純python
2、用numpy向量化
3、用對(duì)數(shù)歐拉方法實(shí)現(xiàn)全向量化
4、圖形化分析
5、技術(shù)分析
主題
統(tǒng)計(jì)學(xué) 正態(tài)檢驗(yàn)
大綱
1、正態(tài)性檢驗(yàn)
2、基準(zhǔn)案例
3、現(xiàn)實(shí)世界的數(shù)據(jù)
第4天
主題
金融應(yīng)用 投資優(yōu)化組合
大綱
1、基本理論
2、數(shù)據(jù)
3、投資組合優(yōu)化
4、有效邊界
5、資本市場(chǎng)線
主題
k 近鄰算法
大綱
1、k近鄰算法概述
2、準(zhǔn)備數(shù)據(jù)：從文本文件中解析數(shù)據(jù)
3、分析數(shù)據(jù)：使用matplotlib創(chuàng)建散點(diǎn)圖
4、準(zhǔn)備數(shù)據(jù)：歸一化數(shù)值
5、測(cè)試算法：作為完整程序驗(yàn)證分類器
6、使用算法：構(gòu)建完整可用的系統(tǒng)
主題
決策樹
大綱
1、決策樹的構(gòu)造
信息增益
劃分?jǐn)?shù)據(jù)集
遞歸構(gòu)建決策樹
2、使用matplotlib注解繪制樹形圖
matplotlib注解
構(gòu)造注解樹
3、測(cè)試和存儲(chǔ)分類器
測(cè)試算法：使用決策樹執(zhí)行分類
使用算法：決策樹的存儲(chǔ)
主題
概率論 樸素貝葉斯
大綱
1、基于貝葉斯決策理論的分類方法
2、條件概率
3、使用條件概率來分類
4、使用樸素貝葉斯進(jìn)行文檔分類
5、使用python進(jìn)行文本分類
主題
Logistic 回歸分析
大綱
1、基于Logistic回歸和sigmoid函數(shù)的分類
2、基于最優(yōu)化方法的 最佳回歸系數(shù)確定
梯度上升法
訓(xùn)練算法：使用梯度上升找到最佳參數(shù)
分析數(shù)據(jù)：畫出決策邊界
訓(xùn)練算法：隨機(jī)梯度上升
第5天
主題
支持向量機(jī)
大綱
1、SVM應(yīng)用的一般框架
2、基于最大間隔分隔數(shù)據(jù)
3、尋找最大間隔
4、SMO高效優(yōu)化算法
5、利用完整plattSMO算法加速優(yōu)化
6、在復(fù)雜數(shù)據(jù)上應(yīng)用核函數(shù)
主題
回歸 ----- 預(yù)測(cè)數(shù)值型數(shù)據(jù)
大綱
1、用線性回歸找到最佳擬合直線
2、局部加權(quán)線性回歸
3、縮減系數(shù)來“理解”數(shù)據(jù)
嶺回歸
lasso
向前逐步回歸
4、權(quán)衡偏差與方差
主題
樹回歸
大綱
1、復(fù)雜數(shù)據(jù)的局部性建模
2、連續(xù)和離散型特征的樹的構(gòu)建
3、將CART算法用于回歸
構(gòu)建樹 運(yùn)行代碼
4、樹剪枝
預(yù)剪枝 后剪枝
5、模型樹
6、樹回歸與標(biāo)準(zhǔn)回歸的比較
主題
大數(shù)據(jù)與mapreduce
大綱
1、mapreduce：分布式計(jì)算框架
2、hadoop流
3、mapreduce上的機(jī)器學(xué)習(xí)
4、在python中使用mrjob來自動(dòng)化MapReduce
5、真的需要MapReduce嗎？

孫增輝老師的其它課程