大數(shù)據(jù)分析（Python）系統(tǒng)課程
大數(shù)據(jù)分析（Python）系統(tǒng)課程詳細內容
大數(shù)據(jù)分析（Python）系統(tǒng)課程
數(shù)據(jù)分析培訓班（6門課程，共18天）
（1）培訓背景
隨著互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、物聯(lián)網(wǎng)、人工智能等科技的快速發(fā)展，經濟發(fā)展已經進入全球化時代，企業(yè)的命運與國際經濟環(huán)境緊密聯(lián)系，如美國的經濟危機會波及到全球各個國家與地區(qū)和企業(yè)，國家和企業(yè)已經不是孤立的存在。在經濟全球化時代商業(yè)環(huán)境極其復雜，不僅要考慮國內、國外經濟環(huán)境，同時還要考慮不同國家的國家政策，不同民族的民族文化，不同宗教的宗教信仰等，更加加深入了商業(yè)環(huán)境的復雜程度。在極其復雜的國際商業(yè)環(huán)境中，作為大型企業(yè)領導者僅憑經驗與智慧無法全面了解與掌控企業(yè)、了解國際化的商業(yè)環(huán)境，因此很難做出正確的企業(yè)戰(zhàn)略決策，甚至更無法做到企業(yè)精細化管理，更不可能做到高效運營，那么，如何突破因商業(yè)環(huán)境復雜度而導致的企業(yè)失控呢？并在復雜的商業(yè)競爭環(huán)境中脫穎而出并獲得最大利潤呢？答案是掌握企業(yè)數(shù)據(jù)和掌握國際化數(shù)據(jù)，并建立高效的數(shù)據(jù)分析體系，探索數(shù)據(jù)、挖掘數(shù)據(jù)高效準確的獲取國際化的經濟環(huán)境狀況，洞察市場趨勢提前做出有利于企業(yè)的戰(zhàn)略決策，提高企業(yè)競爭力，規(guī)避市場風險，數(shù)據(jù)分析則是提升企業(yè)管理水平，實現(xiàn)上述目標的一種行之有效的方法。國際化的競爭就是信息的國際化競爭。
隨著大數(shù)據(jù)、人工智能的快速發(fā)展，數(shù)據(jù)的價值越發(fā)突顯，并為海量的高并發(fā)的數(shù)據(jù)分析提供了新的工具與可行性，較以往的傳統(tǒng)數(shù)據(jù)分析工具更為有效，甚至傳統(tǒng)數(shù)據(jù)分析工具做不到的，大數(shù)據(jù)、人工智能都能做到。因此不僅僅企業(yè)，社會各個方面也因大數(shù)據(jù)的價值而提高了對數(shù)據(jù)的關注程度，也加大了數(shù)據(jù)分析的投入力度。無論是企業(yè)管理、戰(zhàn)略決策、精準營銷、精細化管理等都無處不體現(xiàn)著數(shù)據(jù)分析的重要性。
數(shù)據(jù)如此重要，如何建設一個高效的數(shù)據(jù)分析體系呢？至少要具備以下兩個條件：一是在宏觀層面上正確理解數(shù)據(jù)分析；二是豐富的IT系統(tǒng)建設經驗、分布式技術和較強的數(shù)據(jù)技術能力。第一點尤為重要，因為一旦在思想和認識層面對數(shù)據(jù)分析體系理解有誤，那么即使精通于各種技術方案，所建立起來的也只是一堆技術架構的粗糙堆砌，雖然也能達到部分數(shù)據(jù)分析的效果，但必定會事倍功半。
（2）培訓目標
本次數(shù)據(jù)分析技術培訓課程，整個課程體系設計完備，思路清晰，學員通過本次課程的系統(tǒng)性學習可以掌握如下技能：
- 了解數(shù)據(jù)分析的基礎知識及基本理論；
- 結合Python語言學會數(shù)據(jù)的產生、導入與預處理。掌握大數(shù)據(jù)生成與導入，數(shù)據(jù)分析流程與建模思想，數(shù)據(jù)清洗與數(shù)據(jù)加工等內容；
- 結合Python語言掌握數(shù)據(jù)分析與挖掘基礎。學習常見數(shù)據(jù)分析方法與數(shù)據(jù)挖掘概述，描述型數(shù)據(jù)分析。
- 學習數(shù)據(jù)分析工具Python語言的數(shù)據(jù)分析實戰(zhàn)。
- 掌握結構化數(shù)據(jù)工具SQL的應用及相關知識。
- 學習大數(shù)據(jù)可視化技術。包括數(shù)據(jù)可視化技術概述及培訓關鍵點概述，數(shù)據(jù)挖掘與可視化工具介紹（Excel、SPSS、Tableau等），可視化案例分享等內容。
- 學習Python與數(shù)據(jù)分析實戰(zhàn)。包括Python語言入門，Python網(wǎng)絡編程、爬蟲與機器學習，Python數(shù)據(jù)分析案例分享等內容。
（3）教學計劃
本系列課程總共由6門課程組成：
教學設計 | NO. | 課程名稱 | 課程天數(shù) |
| 基礎理論 | 1 | 概率論與數(shù)理統(tǒng)計 | 1天 |
| SQL語法基礎及進階 | 2 | 數(shù)據(jù)分析與挖掘基礎 | 2天 |
| Python入門 | 3 | Python環(huán)境準備及相關數(shù)據(jù)分析庫（pandas、numpy、matplotlib、scipy）的安裝及應用 | 2天 |
4 | Python語言基礎知識 | 1天 | |
5 | 正則表達式及Python編程 | 1天 | |
| Python與數(shù)據(jù)分析實戰(zhàn) | 6 | 數(shù)據(jù)采集 | 1天 |
7 | 數(shù)據(jù)分析 | 4天 | |
8 | 爬蟲技術與實踐 | 4天 | |
| 數(shù)據(jù)可視化 | 9 | 大數(shù)據(jù)可視化 | 2天 |
?
（4）具體課程方案（含課程大綱）
課程1：概率論與數(shù)理統(tǒng)計-1天
【匹配關鍵知識點】
課程目標1：建立必要的概率論與數(shù)理統(tǒng)計基本知識素養(yǎng)，掌握探索隨機現(xiàn)象統(tǒng)計規(guī)律的一般方法。
課程目標2：掌握概率論與數(shù)理統(tǒng)計的基本概念、基本理論、基本方法和運算技能。包括概率論的基本概念、隨機變量、多維隨機變量、隨機變量的數(shù)字特征、數(shù)理統(tǒng)計的基本概念、參數(shù)估計等相關知識。熟悉數(shù)據(jù)處理、數(shù)據(jù)分析、數(shù)據(jù)推斷的各種基本方法。
課程目標3：掌握處理隨機現(xiàn)象的基本思想和方法，培養(yǎng)抽象概括、推理論證、嚴密的邏輯思維能力，以及使用概率論與數(shù)理統(tǒng)計的方法去分析和解決有關實際問題的能力。
【課程時間】
1天（8小時/天）
【課程簡介】
通過本課程的學習，應掌握概率論與數(shù)理統(tǒng)計的基本概念，了解它的基本理論和方法，從而使學生初步掌握處理隨機現(xiàn)象的基本思想和方法，培養(yǎng)學生運用概率統(tǒng)計方法分析和解決實際問題的能力，并且在知識傳授的同時起到價值引領的作用，積極培育和踐行社會主義核心價值觀，培養(yǎng)學生科學、嚴謹?shù)乃季S能力。
?
【課程特點】
教學中以課堂講授為主，以討論為輔。采用啟發(fā)式教學法，適當運用討論式教學法。融入聯(lián)系應用的案例式教學法，并倡導利用結合軟件技術解決實際問題的實驗式教學法。恰當使用多媒體教學與傳統(tǒng)教學相結合的教學手段，充分運用教師對學生講授與學生間自由討論相結合、傳統(tǒng)解題訓練與開放型問題探索相結合、以及實體課堂面對面交流與虛擬課堂數(shù)字信息交流相結合的交互式教學手段，合理利用網(wǎng)絡資源實施開放性教學手段，采用規(guī)范統(tǒng)考與多樣化考查相結合的考核手段。
【課程大綱】（1天*8小時）
時間 | 內容 | 案例實踐與練習 |
Day1 | 1面向小白的統(tǒng)計學：描述性統(tǒng)計（均值，中位數(shù)，眾數(shù)，方差，標準差，與常見的統(tǒng)計圖表） 2概率的基本概念(方差、分位數(shù)、隨機試驗、樣本空間、事件、頻率、概率、排列組合)，古典概型 3條件概率與貝葉斯公式，獨立性 4微積分：隨機變量及其分布（二項分布，均勻分布，正態(tài)分布） 5多維隨機變量及其分布 6隨機變量的期望，方差與協(xié)方差 7大數(shù)定律、中心極限定理與抽樣分布 8從抽樣推測規(guī)律之一：點估計與區(qū)間估計 9從抽樣推測規(guī)律之二：參數(shù)估計 10基于正態(tài)總體的假設檢驗 11秩和檢驗 12預測未來的技術：回歸分析 13時間序列分析 ? | 案例練習： ? 研討： |
?
課程3：數(shù)據(jù)分析與挖掘基礎-6天
【匹配關鍵知識點】
常見數(shù)據(jù)分析方法與數(shù)據(jù)挖掘概述，描述型數(shù)據(jù)分析，常見數(shù)據(jù)分析與挖掘算法（Kmeans、購物籃、決策樹、樸素貝葉斯等）等內容。
【課程時間】
6天（8小時/天）
【課程簡介】
隨著大數(shù)據(jù)時代的快速到來，以及大數(shù)據(jù)在生產生活中迅速應用，數(shù)據(jù)分析、數(shù)據(jù)建模、數(shù)據(jù)挖掘、機器學習、神經網(wǎng)絡、深度學習、人工智能等重要性越發(fā)突出，本課程是針對大數(shù)據(jù)時代的特點，尹老師總結多年數(shù)據(jù)分析經驗，而精心設計的課程，課程內容涵蓋了數(shù)據(jù)領域的數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、機器學習、神經網(wǎng)絡、深度學習、人工智能等內容，以及人工智能的應用范圍、發(fā)展前景剖析。
【課程收益】
1、常見數(shù)據(jù)分析方法與數(shù)據(jù)挖掘概述；
2、描述型數(shù)據(jù)分析；
3、常見數(shù)據(jù)分析與挖掘算法（Kmeans、購物籃、決策樹、樸素貝葉斯等）等。
【課程特點】
常見數(shù)據(jù)分析方法與數(shù)據(jù)挖掘概述，描述型數(shù)據(jù)分析，常見數(shù)據(jù)分析與挖掘算法（Kmeans、購物籃、決策樹、樸素貝葉斯等）等內容。
【課程對象】
????? 數(shù)據(jù)分析師、技術經理、產品經理、產品助理等
????? 將承擔數(shù)據(jù)分析師職責的業(yè)務人員或信息化人員
????? 希望加強數(shù)據(jù)分析能力的軟件開發(fā)人員
????? 系統(tǒng)集成企業(yè)售前工程師、售前顧問及方案制作人員
【學員基礎】
????? 具有2年以IT部門工作經驗，將負責數(shù)據(jù)分析等相關任務的技術人員
【課程大綱】（6天*8小時）
時間 | 內容 | 案例實踐與練習 |
Day1 常見數(shù)據(jù)分析方法與數(shù)據(jù)挖掘概述 |
? | 案例練習：通過案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：數(shù)據(jù)分析的過程 |
Day2 |
| 案例練習：通過案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：描述性數(shù)據(jù)分析 |
Day3 常見數(shù)據(jù)分析與挖掘算法 |
| 案例研討：通過案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：常用數(shù)據(jù)分析方法與算法 |
Day4 樸素貝葉斯與回歸分析 |
?
?
?
?
?
| 案例練習：通過案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：主成分分析模型實現(xiàn) |
Day5 聚類分析與關聯(lián)規(guī)則挖掘 | ?
?
?
| 案例練習：通過編寫程序實現(xiàn)Kmeans應用案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：編寫程序實現(xiàn)Kmeans應用案例剖析 |
Day6 決策樹與隨機森林 | ?
? ?
| 案例練習：通過實現(xiàn)航空業(yè)客戶細分模型案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：實現(xiàn)航空業(yè)客戶細分模型 |
?
課程8：大數(shù)據(jù)可視化-2天
【匹配關鍵知識點】
數(shù)據(jù)可視化技術概述及培訓關鍵點概述，數(shù)據(jù)挖掘與可視化工具介紹（SAS、Project、Excel、SPSS、Tableau等），可視化案例分享等內容。
【課程時間】
2天（8小時/天）
【課程簡介】
隨著互聯(lián)網(wǎng)、移動智能設備、云計算技術、大數(shù)據(jù)技術的迅猛發(fā)展，使人類產生與獲取數(shù)據(jù)的能力成數(shù)量級地增加，面對如此浩瀚的數(shù)據(jù)海洋，想通過人工分析大數(shù)據(jù)從而得到大數(shù)據(jù)中隱含的有價值的模式，幾乎是不可能的。因此人們需要借助新的技術挖掘大數(shù)據(jù)中所蘊含的價值，采用數(shù)據(jù)可視化技術絕對是一個明智的選擇。
隨著科學技術的不斷發(fā)展，大量的由計算機產生的中間數(shù)據(jù)都需要進行可視化處理，以求達到輔助分析、再現(xiàn)客觀事實的目的。通過視覺化呈現(xiàn)數(shù)據(jù)，可揭示了令人驚奇的模式和觀察結果，某些數(shù)據(jù)是不可能通過簡單統(tǒng)計就能顯而易見的看到的模式和結論。正如作家、記者和信息設計師 David McCandless?在 TED?上說道：“通過視覺化，我們把信息變成了一道可用眼睛來探索的風景線，一種信息地圖。當你在迷失在信息中時，信息地圖非常實用”。由此足見數(shù)據(jù)可視化的價值。
無論獲得信息還是表達信息，最佳方式之一是通過視覺化方式，快速捕捉和展現(xiàn)信息要點與核心要義，這是數(shù)據(jù)可視化的價值點所在。
數(shù)據(jù)可視化技術有著廣闊的發(fā)展和應用空間，越來越受到人們的關注。
【課程收益】
1、數(shù)據(jù)可視化技術概述及培訓關鍵點概述；
2、數(shù)據(jù)挖掘與可視化工具介紹；
3、可視化案例分享
【課程特點】
數(shù)據(jù)可視化技術概述及培訓關鍵點概述，數(shù)據(jù)挖掘與可視化工具介紹（SAS、Project、Excel、SPSS、Tableau等），可視化案例分享等內容。
【課程對象】
????? 數(shù)據(jù)分析師、技術經理、產品經理、產品助理等
????? 將承擔數(shù)據(jù)分析師職責的業(yè)務人員或信息化人員
????? 希望加強數(shù)據(jù)分析能力的軟件開發(fā)人員
????? 系統(tǒng)集成企業(yè)售前工程師、售前顧問及方案制作人員
【學員基礎】
????? 具有2年以IT部門工作經驗，將負責數(shù)據(jù)分析等相關任務的技術人員
【課程大綱】（2天*8小時）
時間 | 內容 | 案例實踐與練習 |
Day1 數(shù)據(jù)可視化技術概述及培訓關鍵點概述 | ?
?
?
?
| 案例練習：通過儀表盤制作案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：儀表盤制作 |
Day2 數(shù)據(jù)挖掘與可視化工具介紹（SAS、Project、Excel、SPSS、Tableau等），可視化案例分享 | ?
?
?
?
| 案例研討：通過淘寶24小時生活數(shù)據(jù)可視化案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：淘寶24小時生活數(shù)據(jù)可視化案例 |
?
課程9：Python與數(shù)據(jù)分析實戰(zhàn)-13天
【匹配關鍵知識點】
Python語言入門，Python網(wǎng)絡編程、爬蟲與機器學習，Python數(shù)據(jù)分析案例分享，基于spark集群的python數(shù)據(jù)分析實戰(zhàn)等內容。
【課程時間】
13天（8小時/天）
【課程簡介】
隨著大數(shù)據(jù)時代的快速到來，以及大數(shù)據(jù)在生產生活中迅速應用，大數(shù)據(jù)領域如雨后春筍般的出現(xiàn)大量的新技術，如Hadoop、Spark等技術，其中Python語言已經成為大數(shù)據(jù)技術中最為重要的一部分，被越來越多的企業(yè)所使用。Python語言的功能涵蓋了大數(shù)據(jù)領域的數(shù)據(jù)處理、統(tǒng)計分析、數(shù)據(jù)挖掘、機器學習、人工智能、大數(shù)據(jù)應用開發(fā)等各種不同類型的計算操作，應用范圍廣泛、前景非常廣闊。本課程是尹老師多年工作經驗的總結和歸納，從實際業(yè)務案例為入口，使學員從理論層到實操層面系統(tǒng)的學習數(shù)據(jù)處理技術，使學員深入理解Python語言等數(shù)據(jù)分析工具。通過本課程的學習，學員即可以正確的分析企業(yè)的數(shù)據(jù)，為管理者、決策層提供數(shù)據(jù)支撐。
【課程收益】
1、Python語言入門；
2、Python網(wǎng)絡編程；
3、Python網(wǎng)絡爬蟲；
4、Python機器學習；
5、Python數(shù)據(jù)分析案例分享；
6、基于spark集群的python數(shù)據(jù)分析實戰(zhàn)；
【課程特點】
Python語言入門，Python網(wǎng)絡編程、爬蟲與機器學習，Python數(shù)據(jù)分析案例分享，基于spark集群的python數(shù)據(jù)分析實戰(zhàn)等內容。
【課程對象】
????? 數(shù)據(jù)分析師、技術經理、產品經理、產品助理等
????? 將承擔數(shù)據(jù)分析師職責的業(yè)務人員或信息化人員
????? 希望加強數(shù)據(jù)分析能力的軟件開發(fā)人員
????? 系統(tǒng)集成企業(yè)售前工程師、售前顧問及方案制作人員
【學員基礎】
????? 具有2年以IT部門工作經驗，將負責數(shù)據(jù)分析等相關任務的技術人員
【課程大綱】（13天*8小時）
時間 | 內容 | 案例實踐與練習 |
Day1~Day3 Python語言入門 |
?
?
?
?
?
?
| 案例練習：通過Python語言實現(xiàn)運營商數(shù)據(jù)分析處理案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：Python語言實現(xiàn)運營商數(shù)據(jù)分析處理 |
Day4～Day5 Python網(wǎng)絡編程 | ?
? ?
?
| 案例練習：通過案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：網(wǎng)絡編程 |
Day6~Day7 Python網(wǎng)絡爬蟲 | ?
?
?
?
?
?
?
| 案例研討：通過案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：網(wǎng)絡爬蟲的實現(xiàn) |
Day8 Python的NumPy模塊 |
| 案例練習：通過NumPy的案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：NumPy的數(shù)據(jù)處理 |
Day9 Python的Pandas模塊 |
| 案例練習：通過Pandas使用案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：Pandas的使用方法 |
Day10 Python機器學習 |
| 案例練習：通過案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討：Python語言實現(xiàn)基于聚類的圖像分割方法 |
Day11 Python機器學習 | ?
?
| 案例練習：通過案例的剖析數(shù)據(jù)分析過程，體會數(shù)據(jù)分析的難點和要點。 ? 研討： Python語言實現(xiàn)基于聚類的圖像分割方法 |
Day12 Python數(shù)據(jù)分析案例分享 | ?
?
?
|
