大數(shù)據(jù)課程-太原

【課程特色】

1.?? 課上采用案例式教學，通俗易懂，課下一對一輔導強化訓練，學與練交叉進行強化記憶，你所要做的就是認真聽，勤于問，樂于練。

2.?? 清晰的知識結(jié)構(gòu)，根據(jù)應用經(jīng)驗采用最優(yōu)化授課模式。

3.?? 內(nèi)容充沛、詳略得當，前后呼應。

4.?? 講師資歷豐富，具有豐富的實踐經(jīng)驗。

5.?? 知識講授+貼身案例+場景故事+互動討論+現(xiàn)場演練+落地跟蹤

【課程時間】3天

【課程大綱】

第一部分：數(shù)據(jù)處理架構(gòu)介紹

1大數(shù)據(jù)的初步認知

1.1何謂大數(shù)據(jù)

1.2大數(shù)據(jù)的發(fā)展現(xiàn)狀

1.3大數(shù)據(jù)的發(fā)展趨勢

2大數(shù)據(jù)的架構(gòu)分析

2.1大數(shù)據(jù)架構(gòu)概述

2.2大數(shù)據(jù)架構(gòu)設(shè)計

2.3大數(shù)據(jù)架構(gòu)的參考模型

3大數(shù)據(jù)的數(shù)據(jù)獲取

3.1數(shù)據(jù)分類與數(shù)據(jù)獲取組件

3.2探針在數(shù)據(jù)獲取中的原理作用

3.3?網(wǎng)頁采集與日志收集

3.4?數(shù)據(jù)分發(fā)中間件的作用分析

4機器學習和數(shù)據(jù)挖掘技術(shù)

4.1?機器學習與數(shù)據(jù)挖掘的關(guān)系

4.2機器學習的方式與類型

4.3機器學習與數(shù)據(jù)挖掘的應用

4.4深度學習的實踐與發(fā)展

5大數(shù)據(jù)的安全與隱私

5.1大數(shù)據(jù)時代面臨的安全挑戰(zhàn)

5.2安全問題解決的框架、技術(shù)與體系

5.3大數(shù)據(jù)隱私保護的政策法規(guī)與技術(shù)介紹

6大數(shù)據(jù)架構(gòu)的實現(xiàn)與應用實例

6.1大數(shù)據(jù)架構(gòu)的實現(xiàn)途徑

6.2?大數(shù)據(jù)在電網(wǎng)中的應用案例解析

第二部分：HDFS原理及應用

1分布式文件系統(tǒng)HDFS

1.1?計算機集群結(jié)構(gòu)

1.2?分布式文件系統(tǒng)的結(jié)構(gòu)

1.3?分布式文件系統(tǒng)的設(shè)計需求

2 HDFS簡介

3 HDFS的相關(guān)概念

3.1?塊

3.2?名稱節(jié)點和數(shù)據(jù)節(jié)點

3.3?第二名稱節(jié)點

4 HDFS體系結(jié)構(gòu)

4.1?概述

4.2 HDFS命名空間管理

4.3?通信協(xié)議

4.4?客戶端

4.5 HDFS體系結(jié)構(gòu)的局限性

5 HDFS的存儲原理

5.1?數(shù)據(jù)的冗余存儲

5.2?數(shù)據(jù)存取策略

5.3?數(shù)據(jù)錯誤與恢復

6 HDFS的數(shù)據(jù)讀寫過程

6.1?讀數(shù)據(jù)的過程

6.2?寫數(shù)據(jù)的過程

7 HDFS編程實踐

7.1 HDFS常用命令

7.2 HDFS的Web頁面

7.3 HDFS常用Java API及應用實例

實驗：熟悉常用的HDFS操作

第三部分：HBase原理及應用

1?概述

1.1?從BigTable說起

1.2 HBase簡介

1.3 HBase與傳統(tǒng)關(guān)系數(shù)據(jù)庫的對比分析

2 HBase訪問接口

3 HBase數(shù)據(jù)模型

3.1?數(shù)據(jù)模型概述

3.2?數(shù)據(jù)模型的相關(guān)概念

3.3?數(shù)據(jù)坐標

3.4?概念視圖

3.5?物理視圖

3.6?面向列的存儲

4 HBase的實現(xiàn)原理

4.1 HBase的功能組件

4.2?表和Region

4.3 Region的定位

5 HBase運行機制

5.1 HBase系統(tǒng)架構(gòu)

5.2 Region服務器的工作原理

5.3 Store的工作原理

5.4 HLog的工作原理

6 HBase編程實踐

6.1 HBase常用的Shell命令

6.2 HBase常用的Java API及應用實例

實驗：熟悉常用的HBase操作

第四部分：ETL工具介紹

1開啟ETL之旅

1.1了解ETL

1.2選擇ETL工具

2配置Kettle運行環(huán)境

2.1安裝JDK

2.2安裝MySQL數(shù)據(jù)庫

2.3配置Kettle

3熟悉Kettle基本操作

3.1認識Kettle界面

3.2新建轉(zhuǎn)換與任務

3.3運行與查看結(jié)果面板

4數(shù)據(jù)獲取

4.1創(chuàng)建數(shù)據(jù)庫連接

4.2表輸入

4.3 CSV文件輸入

4.4 Excel輸入

4.5生成記錄

5記錄處理

5.1?排序記錄

5.2?去除重復記錄

5.3?過濾記錄　

5.4值映射

5.5字符串替換

5.6字符串操作

5.7分組

6字段處理

6.1字段選擇

6.2增加常量

6.3將字段值設(shè)置為常量

6.4剪切字符串

6.5拆分字段

7高級轉(zhuǎn)換

7.1記錄集連接

7.2多路數(shù)據(jù)合并連接

7.3公式

8遷移和裝載

8.1表輸出

8.2插入/更新

8.3 Excel輸出

8.4文本文件輸出

8.5 SQL文件輸出

9項目實戰(zhàn)

9.1分析任務數(shù)據(jù)需求

9.2熟悉任務流程

9.3實現(xiàn)項目

第五部分：MapReduce原理應用開發(fā)

1概述

1.1?分布式并行編程

1.2 MapReduce模型簡介

1.3 Map和Reduce函數(shù)

2 MapReduce的工作流程

2.1?工作流程概述

2.2 MapReduce的各個執(zhí)行階段

2.3 Shuffle過程詳解

3?實例分析：WordCount?

3.1 WordCount的程序任務

3.2 WordCount的設(shè)計思路

3.3 WordCount的具體執(zhí)行過程

3.4?一個WordCount執(zhí)行過程的實例

4 MapReduce的具體應用

4.1 MapReduce在關(guān)系代數(shù)運算中的應用

4.2?分組與聚合運算

4.3?矩陣-向量乘法

4.4?矩陣乘法

5 MapReduce編程實踐

5.1?任務要求

5.2?編寫Map處理邏輯

5.3?編寫Reduce處理邏輯

5.4?編寫main方法

5.5?編譯打包代碼以及運行程序

實驗MapReduce初級編程實踐

實操內(nèi)容：

1?在Windows中使用VirtualBox安裝Ubuntu虛擬機

2 Hadoop3.1.3安裝教程 單機版

2.1 Hadoop簡介

2.2?安裝Hadoop前的準備工作

2.2.1?創(chuàng)建hadoop用戶

2.2.2?更新APT?

2.2.3?安裝SSH?

2.2.4?安裝Java環(huán)境

2.3?安裝Hadoop?

2.3.1?下載安裝文件

2.3.2?單機模式配置

3 HDFS編程實踐（Hadoop3.1.3）

3.1 HDFS操作常用的Shell命令

3.1.1?查看命令的用法

3.1.2 HDFS操作

3.2?利用HDFS的Web管理界面

3.3 HDFS編程實踐

3.3.1?在Eclipse中創(chuàng)建項目

3.3.2?為項目添加需要用到的JAR包

3.3.3?編寫Java應用程序

3.3.4?編譯運行程序

3.3.5?應用程序的部署

4 MapReduce編程實踐(Hadoop3.1.3)

4.1詞頻統(tǒng)計任務要求

4.2 MapReduce程序編寫方法

4.2.1?編寫Map處理邏輯

4.2.2?編寫Reduce處理邏輯

4.2.3?編寫main方法

4.2.4?完整的詞頻統(tǒng)計程序

4.3?編譯打包程序

4.3.1?使用命令行編譯打包詞頻統(tǒng)計程序

4.3.2?使用Eclipse編譯打包詞頻統(tǒng)計程序

4.4?運行程序

劉暉老師的其它課程