大數(shù)據(jù)分析平臺系統(tǒng)培訓(xùn)課程

  培訓(xùn)講師：劉暉

講師背景：
劉暉老師通信行業(yè)特約培訓(xùn)導(dǎo)師【專業(yè)資質(zhì)】?北大計算機、北郵通信雙學(xué)位?（原）中興通訊學(xué)院高級講師?大慶油田技術(shù)研究院高級內(nèi)訓(xùn)講師?15年嵌入式硬件、軟件開發(fā)和系統(tǒng)架構(gòu)設(shè)計總監(jiān)?有8年多的“云大智物”開發(fā)及實施經(jīng)驗。曾供職于巨龍通信、大唐電信 詳細>>

劉暉
    課程咨詢電話：

大數(shù)據(jù)分析平臺系統(tǒng)培訓(xùn)課程詳細內(nèi)容

大數(shù)據(jù)分析平臺系統(tǒng)培訓(xùn)課程

（1）培訓(xùn)背景

大數(shù)據(jù)應(yīng)用技術(shù)經(jīng)過最近幾年的爆發(fā)性發(fā)展，已經(jīng)在各行各業(yè)產(chǎn)生了廣泛而深刻的影響，但是我們?nèi)匀幻鎸θ筇魬?zhàn)：

1.?人才缺口巨大。需要大量的工程師從其他方向轉(zhuǎn)型投入到大數(shù)據(jù)方向上來，他們有基礎(chǔ)、有經(jīng)驗，但是缺乏人工領(lǐng)域的專業(yè)知識，需要為他們在數(shù)據(jù)，算法，算力等多個層面上給予系統(tǒng)的指導(dǎo)，以便這些工程師盡快投入到大數(shù)據(jù)開發(fā)的工作中來。

2.?從技能本身的角度來看，大數(shù)據(jù)是綜合交叉學(xué)科，以數(shù)據(jù)為基礎(chǔ)，算法為核心，業(yè)務(wù)理解和編程實現(xiàn)為手段，如何利用這些技術(shù)給我們和客戶帶來最大的價值，業(yè)界大多數(shù)人仍然對此沒有深入的認識，而這些問題是關(guān)系到競爭力和價值創(chuàng)造的核心問題。

3.?大數(shù)據(jù)業(yè)務(wù)落地應(yīng)用效果產(chǎn)出的核心是大數(shù)據(jù)平臺開發(fā)技術(shù)，如何掌握大數(shù)據(jù)平臺開發(fā)語言更好的解決我們的業(yè)務(wù)問題，關(guān)系到我們業(yè)務(wù)價值的快速實現(xiàn)。

?

（2）培訓(xùn)目標

從解決客戶實際問題出發(fā)，該人才培養(yǎng)方案的從三個角度做出了創(chuàng)新：

1.?內(nèi)容深度上的創(chuàng)新，在過去的十年，整個IT技術(shù)棧，從底層存儲和計算到上層機器學(xué)習(xí)應(yīng)用實現(xiàn)，大數(shù)據(jù)分布式存儲和分布式并行計算框架及應(yīng)用都做了很多的改變。因此，我們相比傳統(tǒng)的大數(shù)據(jù)課程，增加了計算機組成、操作系統(tǒng)和集群技術(shù)的內(nèi)容，同時在上層增加了大數(shù)據(jù)應(yīng)用架構(gòu)、業(yè)務(wù)應(yīng)用場景和最佳實踐案例的內(nèi)容。

2.?內(nèi)容廣度上的創(chuàng)新，IT技術(shù)發(fā)展至今，“生態(tài)”二字越來越重要，尤其是當我們探討大數(shù)據(jù)落地應(yīng)用的時候，更不能離開生態(tài)孤立地討論大數(shù)據(jù)技術(shù)。本課程將基于授課講師強大的專業(yè)背景和豐富的實戰(zhàn)經(jīng)驗，結(jié)合大數(shù)據(jù)技術(shù)、數(shù)據(jù)、業(yè)務(wù)場景等來講授大數(shù)據(jù)的應(yīng)用模式，課程結(jié)合業(yè)務(wù)項目一起跟進如何落地實現(xiàn)。

3.?從形式上，除了常規(guī)理論講授與實際操作以外，我們還引入結(jié)合客戶實際需求進行小組研討、專家評審和相關(guān)項目案例引入的方式，將人才培養(yǎng)進一步落到實處，最大能力幫助客戶提升能力，助力戰(zhàn)略轉(zhuǎn)型。

?

（3）教學(xué)計劃

本系列課程總共由9門課程組成：

教學(xué)設(shè)計

NO.

課程名稱

課程天數(shù)

基礎(chǔ)與概述

1

大數(shù)據(jù)技術(shù)基礎(chǔ)與應(yīng)用

1天

2

Java語言入門

2天

3

Linux基礎(chǔ)

1天

4

大數(shù)據(jù)基礎(chǔ)理論與算法入門

7天

核心技術(shù)講解及實際案例實操

5

Hadoop生態(tài)系統(tǒng)

7天

6

Spark生態(tài)系統(tǒng)

8天

7

大數(shù)據(jù)流式處理技術(shù)入門

5天

8

大數(shù)據(jù)可視化

2天

大數(shù)據(jù)平臺搭建

9

大數(shù)據(jù)平臺搭建案例分享與實踐

7天

?

???????? 第1-4門課屬于基礎(chǔ)與概述，分別從技術(shù)基礎(chǔ)，Java,Linux及基礎(chǔ)理論算法進行針對性基礎(chǔ)知識加固。

???????? 第5-9門課程就Hadoop系統(tǒng)、Spark系統(tǒng)、流式計算三大核心技術(shù)詳細講解，期間穿插實際案例講解如何基于這些技術(shù)搭建企業(yè)級應(yīng)用及開發(fā)實踐。

?? ?整個課程體系及授課有全棧大數(shù)據(jù)專家講師全程落地，確保每個模塊的深入落地及模塊之間的銜接連貫，行成體系的綜合開發(fā)技能 ??????

（4）具體課程方案（含課程大綱）

課程1：大數(shù)據(jù)技術(shù)基礎(chǔ)與應(yīng)用-1天

【匹配關(guān)鍵知識點】

大數(shù)據(jù)概述，大數(shù)據(jù)行業(yè)應(yīng)用解析（PI）等內(nèi)容。

【課程時間】

1天（6小時/天）

【課程簡介】

本課程通過對大數(shù)據(jù)技術(shù)的時代背景和業(yè)務(wù)應(yīng)用場景實踐案例介紹大數(shù)據(jù)技術(shù)涉及的基礎(chǔ)技術(shù)和典型應(yīng)用場景，為學(xué)員學(xué)習(xí)大數(shù)據(jù)技術(shù)明確學(xué)習(xí)方向和目標。

【課程收益】

1、了解大數(shù)據(jù)技術(shù)的時代背景

2、了解大數(shù)據(jù)技術(shù)的商業(yè)價值

3、掌握大數(shù)據(jù)涉及的基本技術(shù)及應(yīng)用

【課程特點】

通過“知識地圖”和 “沙盤演練”幫助學(xué)員“邊干邊學(xué)”，提升其行動學(xué)習(xí)能力：

● 采用“知識地圖”形成持續(xù)學(xué)習(xí)網(wǎng)絡(luò)

“知識地圖”分共三級：一級是領(lǐng)域知識一覽圖（思維導(dǎo)圖）；二級是高度提煉的知識內(nèi)容要點（PPT）；三級是中外優(yōu)質(zhì)資源的知識原文出處（網(wǎng)站鏈接） 。

通過 “知識地圖”，幫助學(xué)員構(gòu)建持續(xù)學(xué)習(xí)網(wǎng)絡(luò)，使其對大數(shù)據(jù)架構(gòu)“領(lǐng)域知識”一覽無余，“前沿動態(tài)”實時掌握！

● 通過“沙盤演練”在實戰(zhàn)中學(xué)習(xí)

課堂沒有冗長乏味的理論講授，而是通過“沙盤演練”，用實戰(zhàn)串講知識，用演練提升能力，助學(xué)員迅速從“初出茅廬”的新兵成長為“身經(jīng)百戰(zhàn)”的長勝將軍，并具備在行動中學(xué)習(xí)的能力。

● 本課程對應(yīng)上機環(huán)境提供學(xué)員大數(shù)據(jù)虛擬機環(huán)境可以本地操作，也可以在線登錄老師自主開發(fā)的大數(shù)據(jù)實戰(zhàn)平臺在線操作。

【課程對象】

大數(shù)據(jù)技術(shù)相關(guān)人員

【學(xué)員基礎(chǔ)】

無前置課程要求

【課程大綱】（1天*6小時）

時間

內(nèi)容

案例實踐與練習(xí)

Day1

上午

第一篇

大數(shù)據(jù)概述

一、大數(shù)據(jù)時代背景

二、大數(shù)據(jù)業(yè)務(wù)應(yīng)用場景

三、大數(shù)據(jù)在各行業(yè)最佳實踐案例

案例討論：大數(shù)據(jù)行業(yè)應(yīng)用價值

Day1

下午

第二篇? 大數(shù)據(jù)行業(yè)應(yīng)用解析

一、大數(shù)據(jù)處理技術(shù)發(fā)展趨勢

二、大數(shù)據(jù)主要存儲技術(shù)介紹

三、大數(shù)據(jù)主要計算技術(shù)介紹

案例分析：大數(shù)據(jù)與傳統(tǒng)存儲計算技術(shù)的關(guān)系

?

?

課程2：Java語言入門-2天

【匹配關(guān)鍵知識點】

Java概述與環(huán)境搭建，Java數(shù)據(jù)類型與運算符及語法等內(nèi)容。

【課程時間】

2天（6小時/天）

【課程簡介】

本課程通過Java基本開發(fā)語言的介紹，幫助學(xué)員掌握Java的核心原理和開發(fā)方法，并利用Java進行應(yīng)用開發(fā)。培訓(xùn)實踐與理論并重，通過理論講解，實例分析，以及對關(guān)鍵技術(shù)的實操練習(xí)，從而幫助學(xué)員深刻理解Java核心原理和提升學(xué)員在工作中的實踐技能。。

【課程收益】

1、了解Java的核心編程

2、了解大數(shù)據(jù)技術(shù)的商業(yè)價值

3、掌握大數(shù)據(jù)涉及的基本技術(shù)及應(yīng)用

【課程特點】

通過“知識地圖”和 “沙盤演練”幫助學(xué)員“邊干邊學(xué)”，提升其行動學(xué)習(xí)能力：

● 采用“知識地圖”形成持續(xù)學(xué)習(xí)網(wǎng)絡(luò)

“知識地圖”分共三級：一級是領(lǐng)域知識一覽圖（思維導(dǎo)圖）；二級是高度提煉的知識內(nèi)容要點（PPT）；三級是中外優(yōu)質(zhì)資源的知識原文出處（網(wǎng)站鏈接） 。

通過 “知識地圖”，幫助學(xué)員構(gòu)建持續(xù)學(xué)習(xí)網(wǎng)絡(luò)，使其對大數(shù)據(jù)架構(gòu)“領(lǐng)域知識”一覽無余，“前沿動態(tài)”實時掌握！

● 通過“沙盤演練”在實戰(zhàn)中學(xué)習(xí)

課堂沒有冗長乏味的理論講授，而是通過“沙盤演練”，用實戰(zhàn)串講知識，用演練提升能力，助學(xué)員迅速從“初出茅廬”的新兵成長為“身經(jīng)百戰(zhàn)”的長勝將軍，并具備在行動中學(xué)習(xí)的能力。

● 本課程對應(yīng)上機環(huán)境提供學(xué)員大數(shù)據(jù)虛擬機環(huán)境可以本地操作，也可以在線登錄老師自主開發(fā)的大數(shù)據(jù)實戰(zhàn)平臺在線操作。

【課程對象】

大數(shù)據(jù)技術(shù)相關(guān)人員

【學(xué)員基礎(chǔ)】

具備初步的IT基礎(chǔ)知識

【課程大綱】（2天*6小時）

時間

內(nèi)容

案例實踐與練習(xí)

Day1

上午

第一篇

java ?語言概述

一、java ?語言概述

二、java ?應(yīng)用場景

三、java ?發(fā)展歷史

案例討論：大數(shù)據(jù)行業(yè)應(yīng)用價值

Day1

下午

第二篇? java?語言基礎(chǔ)

一、 java編譯原因

二、 基本的數(shù)據(jù)結(jié)構(gòu)

三、

案例練習(xí)：?java基礎(chǔ)開發(fā)

Day2

上午

第三篇

java ?面向?qū)ο箝_發(fā)

一、 類及對象

二、 識別類及類之間關(guān)系

三、 Java類庫中的GregorianCalendar類

案例練習(xí)：面向?qū)ο箝_發(fā)

Day2

下午

第四篇? java?開發(fā)應(yīng)用

一、 圖形程序設(shè)計基礎(chǔ)

二、 創(chuàng)建框架及框架定位

三、 部署應(yīng)用程序和applet

案例練習(xí)：java?開發(fā)應(yīng)用

?

課程3：Linux基礎(chǔ)-1天

【匹配關(guān)鍵知識點】

Linux概念及簡單操作等內(nèi)容。

【課程時間】

1天（6小時/天）

【課程簡介】

本課程通過Linux系統(tǒng)體系及命令的介紹，幫助學(xué)員掌握Linux的核心原理和管理開發(fā)方法。培訓(xùn)實踐與理論并重，通過理論講解，實例分析，以及對關(guān)鍵技術(shù)的實操練習(xí)，從而幫助學(xué)員深刻理解Linux核心原理和提升學(xué)員在工作中的實踐技能。。

【課程收益】

1、了解Linux核心原理

2、了解Linux的系統(tǒng)體系功能

3、掌握Linux的基本命令及應(yīng)用

【課程特點】

通過“知識地圖”和 “沙盤演練”幫助學(xué)員“邊干邊學(xué)”，提升其行動學(xué)習(xí)能力：

● 采用“知識地圖”形成持續(xù)學(xué)習(xí)網(wǎng)絡(luò)

“知識地圖”分共三級：一級是領(lǐng)域知識一覽圖（思維導(dǎo)圖）；二級是高度提煉的知識內(nèi)容要點（PPT）；三級是中外優(yōu)質(zhì)資源的知識原文出處（網(wǎng)站鏈接） 。

通過 “知識地圖”，幫助學(xué)員構(gòu)建持續(xù)學(xué)習(xí)網(wǎng)絡(luò)，使其對大數(shù)據(jù)架構(gòu)“領(lǐng)域知識”一覽無余，“前沿動態(tài)”實時掌握！

● 通過“沙盤演練”在實戰(zhàn)中學(xué)習(xí)

課堂沒有冗長乏味的理論講授，而是通過“沙盤演練”，用實戰(zhàn)串講知識，用演練提升能力，助學(xué)員迅速從“初出茅廬”的新兵成長為“身經(jīng)百戰(zhàn)”的長勝將軍，并具備在行動中學(xué)習(xí)的能力。

● 本課程對應(yīng)上機環(huán)境提供學(xué)員大數(shù)據(jù)虛擬機環(huán)境可以本地操作，也可以在線登錄老師自主開發(fā)的大數(shù)據(jù)實戰(zhàn)平臺在線操作。

【課程對象】

大數(shù)據(jù)技術(shù)相關(guān)人員

【學(xué)員基礎(chǔ)】

具備初步的IT基礎(chǔ)知識

【課程大綱】（1天*6小時）

時間

內(nèi)容

案例實踐與練習(xí)

Day1

上午

第一篇

Linux系統(tǒng)基礎(chǔ)

一、 開源歷史、Linux系統(tǒng)的種類及優(yōu)勢特性

二、 常用的Linux系統(tǒng)命令及內(nèi)核原理

三、 Linux系統(tǒng)RPM、Yum及守護進程機制理論

案例練習(xí)：Linux系統(tǒng)命令

Day1

下午

第二篇? Linux系統(tǒng)命令

一、 Linux系統(tǒng)命令Shell腳本原理及作用，環(huán)境變量的作用

二、 Linux系統(tǒng)內(nèi)核與BASH解釋器的關(guān)系

三、 Linux用戶管理文件管理進程管理

案例練習(xí)：用戶管理文件管理進程管理實戰(zhàn)演練

?

課程4：大數(shù)據(jù)基礎(chǔ)理論與算法入門-7天

【匹配關(guān)鍵知識點】

數(shù)理統(tǒng)計基礎(chǔ)理論， SQL語法與應(yīng)用實戰(zhàn) ，數(shù)據(jù)建?；A(chǔ)理論，數(shù)據(jù)預(yù)處理、探索性數(shù)據(jù)分析，數(shù)據(jù)采集、抽樣和預(yù)測，SVM算法、決策樹算法、聚類算法、貝葉斯算法、回歸算法等內(nèi)容。

【課程時間】

7天（6小時/天）

【課程簡介】

本課程通過大數(shù)據(jù)基礎(chǔ)理論與算法的介紹，幫助學(xué)員掌握大數(shù)據(jù)大數(shù)據(jù)基礎(chǔ)理論與算法基礎(chǔ)。培訓(xùn)實踐與理論并重，通過理論講解，實例分析，以及對關(guān)鍵技術(shù)的實操練習(xí)，從而幫助學(xué)員深刻理解大數(shù)據(jù)基礎(chǔ)理論與算法應(yīng)用和提升學(xué)員在工作中的實踐技能。

【課程收益】

1、了解大數(shù)據(jù)基礎(chǔ)理論及應(yīng)用場景

2、了解大數(shù)據(jù)核心算法原理

3、掌握大數(shù)據(jù)平臺基礎(chǔ)理論與算法應(yīng)用開發(fā)

【課程特點】

通過“知識地圖”和 “沙盤演練”幫助學(xué)員“邊干邊學(xué)”，提升其行動學(xué)習(xí)能力：

● 采用“知識地圖”形成持續(xù)學(xué)習(xí)網(wǎng)絡(luò)

“知識地圖”分共三級：一級是領(lǐng)域知識一覽圖（思維導(dǎo)圖）；二級是高度提煉的知識內(nèi)容要點（PPT）；三級是中外優(yōu)質(zhì)資源的知識原文出處（網(wǎng)站鏈接） 。

通過 “知識地圖”，幫助學(xué)員構(gòu)建持續(xù)學(xué)習(xí)網(wǎng)絡(luò)，使其對大數(shù)據(jù)架構(gòu)“領(lǐng)域知識”一覽無余，“前沿動態(tài)”實時掌握！

● 通過“沙盤演練”在實戰(zhàn)中學(xué)習(xí)

課堂沒有冗長乏味的理論講授，而是通過“沙盤演練”，用實戰(zhàn)串講知識，用演練提升能力，助學(xué)員迅速從“初出茅廬”的新兵成長為“身經(jīng)百戰(zhàn)”的長勝將軍，并具備在行動中學(xué)習(xí)的能力。

● 本課程對應(yīng)上機環(huán)境提供學(xué)員大數(shù)據(jù)虛擬機環(huán)境可以本地操作，也可以在線登錄老師自主開發(fā)的大數(shù)據(jù)實戰(zhàn)平臺在線操作。

【課程對象】

大數(shù)據(jù)技術(shù)相關(guān)人員

【學(xué)員基礎(chǔ)】

具備初步的IT基礎(chǔ)知識

【課程大綱】（7天*6小時）

時間

內(nèi)容

第一天

第1個主題：概率論與數(shù)理統(tǒng)計入門（目的：掌握必備的概率論與數(shù)理統(tǒng)計相關(guān)入門知識，為下個主題的深入講解打好基礎(chǔ)）

  1. 聊聊概率這件事
  2. 什么是隨機變量
  3. 什么是概率分布
  4. 什么是古典概型
  5. 聯(lián)合概率與邊緣概率
  6. 乘法與全概率公式
  7. 貝葉斯公式介紹
  8. 獨立性與獨立事件
  9. 課堂實操：概率統(tǒng)計各種相關(guān)類型習(xí)題講解，由淺入深探索概率統(tǒng)計在各種業(yè)務(wù)/項目上的應(yīng)用。
第二天

第2個主題：離散值的概率分布（目的：掌握離散值的概率分布相關(guān)知識點，包括伯努利、二項、方差等關(guān)鍵核心內(nèi)容 ）

  1. 定義與分布律介紹
  2. 離散型隨機變量介紹
  3. 伯努利、二項及泊松分布
  4. 期望值及其計算方法
  5. 方差與標準差介紹
  6. 大數(shù)定理介紹

課堂實操：概率統(tǒng)計各種相關(guān)類型習(xí)題講解，由淺入深探索概率統(tǒng)計

第3個主題：SQL語法與應(yīng)用實戰(zhàn)（目的：掌握SQL語法及數(shù)據(jù)庫實戰(zhàn)應(yīng)用）

  1. SQL概述
  2. 數(shù)據(jù)庫基本操作
  3. 數(shù)據(jù)類型和約束條件
  4. 數(shù)據(jù)填充與數(shù)據(jù)導(dǎo)入
  5. 查詢操作符與子查詢
  6. SQL查詢函數(shù)介紹
  7. 課堂實操：動手實際實現(xiàn)客戶訂單查詢案例
第三天

第4個主題：數(shù)據(jù)預(yù)處理（目的：掌握數(shù)據(jù)預(yù)處理的流程及方法）

  1. 數(shù)據(jù)審核
  2. 數(shù)據(jù)篩選
  3. 數(shù)據(jù)排序
  4. 數(shù)據(jù)清洗
  5. 數(shù)據(jù)集成
  6. 數(shù)據(jù)變換
  7. 數(shù)據(jù)歸約
  8. 課堂實操： 合并不同數(shù)據(jù)源數(shù)據(jù)、缺失值與異常值處理、數(shù)據(jù)標準化處理、Matplotlib繪圖

第5個主題：數(shù)據(jù)分析入門（目的：數(shù)據(jù)分析簡介）

  1. 數(shù)據(jù)分析概述
  2. 數(shù)據(jù)分析開發(fā)環(huán)境搭建
  3. 數(shù)據(jù)分析學(xué)習(xí)技巧
  4. 課堂實操： 量化炒股實例、python常用科學(xué)計算
第四天

第6個主題：Numpy與Pandas（目的：掌握數(shù)據(jù)處理常用庫的使用）

  1. [Numpy]基本概述
  2. [Numpy]多維數(shù)據(jù)對象
  3. [Numpy]元素級別處理函數(shù)
  4. [Numpy]使用數(shù)組進行數(shù)據(jù)處理
  5. [Numpy]文件輸入輸出
  6. [Numpy]線性代數(shù)相關(guān)知識
  7. [Pandas]基本數(shù)據(jù)結(jié)構(gòu)
  8. [Pandas]索引、選取、過濾、排序等
  9. [Pandas]匯總和計算描述統(tǒng)計
  10. [Pandas]缺失數(shù)據(jù)處理
  11. [Pandas]層次化索引
  12. 課堂實操： 數(shù)據(jù)處理及統(tǒng)計案例練習(xí)
第五天

第7個主題：大數(shù)據(jù)算法基礎(chǔ)（目的：深入機器學(xué)習(xí)核心，掌握相關(guān)理論知識）

  1. K最鄰近算法
  2. 樸素貝葉斯
  3. 線性回歸
  4. 梯度下降
  5. 最大似然估計
  6. 多重回歸模型
  7. Logistic回歸
  8. Logistic函數(shù)介紹
  9. 支持向量機
  10. 課堂實操： 算法練習(xí)
第六天

第8個主題：大數(shù)據(jù)算法基礎(chǔ)（目的：掌握核心算法以及了解機器學(xué)習(xí)相關(guān)的熱門實現(xiàn)）

  1. 什么是決策樹
  2. 什么是熵
  3. 神經(jīng)網(wǎng)絡(luò)的感知機
  4. 前向傳播神經(jīng)網(wǎng)絡(luò)
  5. 什么是聚類
  6. K均值算法
  7. 自然語言處理
  8. 推薦系統(tǒng)介紹
  9. 課堂實操： 實現(xiàn)機器學(xué)習(xí)相關(guān)完整案例
第七天

第9個主題：大數(shù)據(jù)算法實戰(zhàn)訓(xùn)練（目的：帶領(lǐng)學(xué)員完成大量的實戰(zhàn)案例，鞏固所學(xué)知識）

  1. 課堂實操：深度學(xué)習(xí)熱門框架實戰(zhàn)
  2. 課堂實操：花朵分類
  3. 課堂實操：目標檢測
  4. 課堂實操：垃圾郵件處理
  5. 課堂實操：金融數(shù)據(jù)分析
  6. 課堂實操:? kaggle競賽實例

?

課程5：Hadoop生態(tài)系統(tǒng)-7天

【匹配關(guān)鍵知識點】

HDFS使用操作， MapReduce開發(fā) ，yarn原理和應(yīng)用，Hbase數(shù)據(jù)庫開發(fā)，Hive數(shù)據(jù)倉庫開發(fā)，Scala入門等內(nèi)容。

【課程時間】

7天（6小時/天）

【課程簡介】

本課程通過Hadoop系統(tǒng)體系及命令的介紹，幫助學(xué)員掌握Hadoop的核心架構(gòu)原理和管理開發(fā)方法。培訓(xùn)實踐與理論并重，通過理論講解，實例分析，以及對關(guān)鍵技術(shù)的實操練習(xí)，從而幫助學(xué)員深刻理解Hadoop生態(tài)系統(tǒng)及開發(fā)應(yīng)用和提升學(xué)員在工作中的實踐技能。

【課程收益】

1、了解Hadoop生態(tài)系統(tǒng)及應(yīng)用場景

2、了解Hadoop生態(tài)系統(tǒng)的核心功能和架構(gòu)

3、掌握Hadoop生態(tài)系統(tǒng)組件的基本命令及應(yīng)用

【課程特點】

通過“知識地圖”和 “沙盤演練”幫助學(xué)員“邊干邊學(xué)”，提升其行動學(xué)習(xí)能力：

● 采用“知識地圖”形成持續(xù)學(xué)習(xí)網(wǎng)絡(luò)

“知識地圖”分共三級：一級是領(lǐng)域知識一覽圖（思維導(dǎo)圖）；二級是高度提煉的知識內(nèi)容要點（PPT）；三級是中外優(yōu)質(zhì)資源的知識原文出處（網(wǎng)站鏈接） 。

通過 “知識地圖”，幫助學(xué)員構(gòu)建持續(xù)學(xué)習(xí)網(wǎng)絡(luò)，使其對大數(shù)據(jù)架構(gòu)“領(lǐng)域知識”一覽無余，“前沿動態(tài)”實時掌握！

● 通過“沙盤演練”在實戰(zhàn)中學(xué)習(xí)

課堂沒有冗長乏味的理論講授，而是通過“沙盤演練”，用實戰(zhàn)串講知識，用演練提升能力，助學(xué)員迅速從“初出茅廬”的新兵成長為“身經(jīng)百戰(zhàn)”的長勝將軍，并具備在行動中學(xué)習(xí)的能力。

● 本課程對應(yīng)上機環(huán)境提供學(xué)員大數(shù)據(jù)虛擬機環(huán)境可以本地操作，也可以在線登錄老師自主開發(fā)的大數(shù)據(jù)實戰(zhàn)平臺在線操作。

【課程對象】

大數(shù)據(jù)技術(shù)相關(guān)人員

【學(xué)員基礎(chǔ)】

學(xué)習(xí)完Java,Linux和大數(shù)據(jù)基礎(chǔ)理論和應(yīng)用前置課程

【課程大綱】（7天*6小時）

時間

內(nèi)容

案例實踐與練習(xí)

Day1

上午

第一篇

大數(shù)據(jù)Hadoop技術(shù)架構(gòu)

一、Hadoop在云計算技術(shù)的作用和地位，

二、Hadoop的基礎(chǔ)概念、數(shù)據(jù)管理、特性

三、Hadoop集群及架構(gòu)原理

案例練習(xí)：Hadoop集群管理命令

Day1

下午

第二篇? Hadoop組件詳解：HDFS

一、HDFS特征及讀寫文件

二、NameNode的考慮

三、HDFS安全概覽

案例練習(xí)：HDFS基礎(chǔ)命令

Day2

上午

第三篇

Hadoop組件詳解：HDFS

一、運用 Hadoop文件Shell

二、利用Flume?從外部源攝取數(shù)據(jù)

三、利用Sqoop從關(guān)系數(shù)據(jù)庫攝取數(shù)據(jù)

案例練習(xí)：HDFS腳本及接口命令

Day2

下午

第四篇? Hadoop的計算框架

一、MapReduce原理及特征

二、YARN2.0架構(gòu)與原理

三、Zookeeper和YARN2.0關(guān)系

案例練習(xí)：MapReduce運行及調(diào)度

Day3

上午

第五篇

SQOOP核心原理架構(gòu)

一、SQOOP原理及特征

二、SQOOP開發(fā)應(yīng)用

三、SQOOP和Hadoop關(guān)系

案例練習(xí)：SQOOP開發(fā)

Day3

下午

第六篇? zookeeper應(yīng)用實戰(zhàn)

一、zookeeper原理及特征

二、zookeeper架構(gòu)與應(yīng)用

三、Zookeeper和Hadoop關(guān)系

案例練習(xí)：Zookeeper集群管理命令

Day4

上午

第七篇

Hbase核心原理架構(gòu)

一、HBase原理及特征

二、HBase and RDBMS

三、HBase Shell

案例練習(xí)：HBase Shell命令

Day4

下午

第八篇 Hbase應(yīng)用實戰(zhàn)

一、創(chuàng)建表

二、HBase?的ROWKEY設(shè)計

三、Hbase的優(yōu)化設(shè)計

案例練習(xí)：HBase ?優(yōu)化設(shè)計

Day5

上午

第九篇

Hive簡介

一、Hive模式和數(shù)據(jù)存儲

二、Hive與傳統(tǒng)數(shù)據(jù)庫的比較

三、Hive應(yīng)用案例

案例練習(xí)：Hive模式及管理命令

Day5

下午

第十篇? Hive?基礎(chǔ)開發(fā)

一、HQL基礎(chǔ)DDL編程

二、HQL基礎(chǔ)DML編程

三、HQL實現(xiàn)關(guān)聯(lián)操作

案例練習(xí)：Hive ?基礎(chǔ)開發(fā)

Day6

上午

第十一篇

Hive模型開發(fā)

一、Hive管理的各中表與模型應(yīng)用

二、裝載數(shù)據(jù)進入Hive?

三、Hive維度模型開發(fā)應(yīng)用

案例練習(xí)：Hive模型開發(fā)

Day6

下午

第十二篇? Hive與Flume,SQOOP組合應(yīng)用

一、Flume裝載數(shù)據(jù)進入Hive?

二、SQOOP裝載數(shù)據(jù)進入Hive

三、Hive開發(fā)與Hadoop關(guān)系

案例練習(xí)：Hive接口開發(fā)

Day7

上午

第十三篇

Scala基礎(chǔ)

一、Scala基礎(chǔ)知識

二、Scala常用集合

三、Scala應(yīng)用場景

案例練習(xí)：Scala基礎(chǔ)開發(fā)

Day7

下午

第十四篇? Scala開發(fā)應(yīng)用

一、函數(shù)對象

二、編程實例

三、Scala高級開發(fā)應(yīng)用

案例練習(xí)：Scala開發(fā)應(yīng)用

?

課程6：Spark生態(tài)系統(tǒng)-8天

【匹配關(guān)鍵知識點】

Spark生態(tài)系統(tǒng)概述及培訓(xùn)關(guān)鍵點概述 ，Spark SQL開發(fā)，Spark Streaming/Spark Mllib/ Spark Graphx開發(fā)等內(nèi)容。

【課程時間】

8天（6小時/天）

【課程簡介】

本課程通過Spark系統(tǒng)體系及命令的介紹，幫助學(xué)員掌握Spark的核心架構(gòu)原理和管理開發(fā)方法。培訓(xùn)實踐與理論并重，通過理論講解，實例分析，以及對關(guān)鍵技術(shù)的實操練習(xí)，從而幫助學(xué)員深刻理解Spark生態(tài)系統(tǒng)及開發(fā)應(yīng)用和提升學(xué)員在工作中的實踐技能。

【課程收益】

1、了解Spark生態(tài)系統(tǒng)及應(yīng)用場景

2、了解Spark生態(tài)系統(tǒng)的核心功能和架構(gòu)

3、掌握Spark生態(tài)系統(tǒng)組件的基本命令及應(yīng)用

【課程特點】

通過“知識地圖”和 “沙盤演練”幫助學(xué)員“邊干邊學(xué)”，提升其行動學(xué)習(xí)能力：

● 采用“知識地圖”形成持續(xù)學(xué)習(xí)網(wǎng)絡(luò)

“知識地圖”分共三級：一級是領(lǐng)域知識一覽圖（思維導(dǎo)圖）；二級是高度提煉的知識內(nèi)容要點（PPT）；三級是中外優(yōu)質(zhì)資源的知識原文出處（網(wǎng)站鏈接） 。

通過 “知識地圖”，幫助學(xué)員構(gòu)建持續(xù)學(xué)習(xí)網(wǎng)絡(luò)，使其對大數(shù)據(jù)架構(gòu)“領(lǐng)域知識”一覽無余，“前沿動態(tài)”實時掌握！

● 通過“沙盤演練”在實戰(zhàn)中學(xué)習(xí)

課堂沒有冗長乏味的理論講授，而是通過“沙盤演練”，用實戰(zhàn)串講知識，用演練提升能力，助學(xué)員迅速從“初出茅廬”的新兵成長為“身經(jīng)百戰(zhàn)”的長勝將軍，并具備在行動中學(xué)習(xí)的能力。

● 本課程對應(yīng)上機環(huán)境提供學(xué)員大數(shù)據(jù)虛擬機環(huán)境可以本地操作，也可以在線登錄老師自主開發(fā)的大數(shù)據(jù)實戰(zhàn)平臺在線操作。

【課程對象】

大數(shù)據(jù)技術(shù)相關(guān)人員

【學(xué)員基礎(chǔ)】

學(xué)習(xí)完Java,Linux和大數(shù)據(jù)基礎(chǔ)理論和應(yīng)用前置課程

【Spark生態(tài)系統(tǒng)系統(tǒng)課程大綱】（8天*6小時）

時間

內(nèi)容

案例實踐與練習(xí)

Day1

上午

第一篇

Spark生態(tài)系統(tǒng)

一、Spark發(fā)展歷史及簡介

二、Spark業(yè)務(wù)應(yīng)用場景

三、Spark與Hadoop系統(tǒng)關(guān)系

案例討論：Spark與Hadoop系統(tǒng)關(guān)系

Day1

下午

第二篇? Spark原理架構(gòu)

一、Spark原理及特征

二、Spark架構(gòu)及組件應(yīng)用場景

三、Spark接口及應(yīng)用場景

案例討論：Spark接口及應(yīng)用場景

Day2

上午

第三篇

Spark數(shù)據(jù)結(jié)構(gòu)

一、RDD基礎(chǔ)

二、轉(zhuǎn)換操作與執(zhí)行操作

三、共享變量

案例練習(xí)：RDD基礎(chǔ)開發(fā)操作

Day2

下午

第四篇? Spark計算模型

一、Spark計算框架原理及特征

二、Spark架構(gòu)與應(yīng)用

三、Spark之寬窄依賴和DAG調(diào)度

案例練習(xí)：Spark計算模型及運行日志查看

Day3

上午

第五篇

Spark調(diào)度模型

一、Spark資源調(diào)度原理及特征

二、Spark資源調(diào)度架構(gòu)及應(yīng)用

三、Spark資源調(diào)度基于Hadoop

案例練習(xí)：Spark調(diào)度命令

Day3

下午

第六篇? Spark接口開發(fā)

一、Spark生態(tài)系統(tǒng)接口介紹

二、Spark生態(tài)系統(tǒng)接口與Hadoop

三、Spark生態(tài)系統(tǒng)接口與大數(shù)據(jù)分析

案例練習(xí)：Spark接口開發(fā)

Day4

上午

第七篇

Spark SQL基礎(chǔ)開發(fā)

一、Spark SQL原理與架構(gòu)

二、Hive SQL與Spark SQL?

三、Spark SQL開發(fā)應(yīng)用

案例練習(xí)：Spark SQL基礎(chǔ)開發(fā)

Day4

下午

第八篇 Spark SQL模型開發(fā)

一、Spark SQL與Hive

二、Spark SQL與模型構(gòu)建

三、Spark SQL與數(shù)據(jù)挖掘分析

案例練習(xí)：Spark SQL模型開發(fā)

Day5

上午

第九篇

Spark Streaming開發(fā)

一、Spark Streaming基本原理

二、Spark Streaming開發(fā)基礎(chǔ)

三、Spark Streaming開發(fā)應(yīng)用

案例練習(xí)：Spark Streaming開發(fā)

Day5

下午

第十篇 Spark Mllib開發(fā)

一、Spark ML讀取數(shù)據(jù)

二、Spark ML對數(shù)據(jù)進行探索

三、Spark ML訓(xùn)練模型

案例練習(xí)：Spark Mllib開發(fā)

Day6

上午

第十一篇

Spark Mllib開發(fā)

一、Spark ML組裝任務(wù)

二、Spark ML評估、優(yōu)化模型

三、Spark Mllib開發(fā)

案例練習(xí)：Spark Mllib開發(fā)

Day6

下午

第十二篇? Spark Graphx應(yīng)用

一、Spark GraphX?的核心代碼剖析

二、Spark GraphX?命令方式操作

三、Spark GraphX?的客戶端 API?介紹

案例練習(xí)：Spark Graphx開發(fā)

Day7

上午

第十三篇

SparkR接口開發(fā)

一、R語言基礎(chǔ)知識

二、R語言開發(fā)基礎(chǔ)

三、SparkR開發(fā)及應(yīng)用場景

案例練習(xí)：SparkR開發(fā)

Day7

下午

第十四篇? PySpark開發(fā)應(yīng)用

一、PySpark之Python基礎(chǔ)

二、Python數(shù)據(jù)結(jié)構(gòu)

三、Python循環(huán)結(jié)構(gòu)

案例練習(xí)：PySpark基礎(chǔ)開發(fā)

Day8

上午

第十五篇

PySpark開發(fā)應(yīng)用

一、Python機器學(xué)習(xí)

二、基于PySpark開發(fā)Python機器學(xué)習(xí)

三、PySpark機器學(xué)習(xí)開發(fā)應(yīng)用

案例練習(xí)：PySpark機器學(xué)習(xí)開發(fā)應(yīng)用

Day8

下午

第十六篇? PySpark開發(fā)應(yīng)用

一、Python深度學(xué)習(xí)

二、基于PySpark開發(fā)Python深度學(xué)習(xí)

三、PySpark深度學(xué)習(xí)開發(fā)應(yīng)用

案例練習(xí)：PySpark深度學(xué)習(xí)開發(fā)應(yīng)用

?

課程7：大數(shù)據(jù)流式處理技

 

劉暉老師的其它課程

【課程特色】1.??課上采用案例式教學(xué)，通俗易懂，課下一對一輔導(dǎo)強化訓(xùn)練，學(xué)與練交叉進行強化記憶，你所要做的就是認真聽，勤于問，樂于練。2.??清晰的知識結(jié)構(gòu)，根據(jù)應(yīng)用經(jīng)驗采用最優(yōu)化授課模式。3.??內(nèi)容充沛、詳略得當，前后呼應(yīng)。4.??講師資歷豐富，具有豐富的實踐經(jīng)驗。5.??知識講授+貼身案例+場景故事+互動討論+現(xiàn)場演練+落地跟蹤【課程時間】1天【課程

 講師：劉暉詳情

【課程背景】住房和城鄉(xiāng)建設(shè)部印發(fā)的《國家智慧城市試點暫行管理辦法》和《國家智慧城市（區(qū)、鎮(zhèn)）試點指標體系（試行）》兩個文件指出：建設(shè)智慧城市是創(chuàng)新驅(qū)動發(fā)展、推動新型城鎮(zhèn)化、全面建成小康社會的重要舉措。這對于服務(wù)于千千萬萬城市、社區(qū)、園區(qū)、小區(qū)、樓宇，以及工作和生活在其中的業(yè)主和客戶的物業(yè)管理服務(wù)業(yè)來說，已然迎來最大的發(fā)展機遇。物業(yè)管理行業(yè)不僅是智慧社區(qū)的受益

 講師：劉暉詳情

5G+智慧煤礦   12.31

【課程特色】1.??課上采用案例式教學(xué)，通俗易懂，課下一對一輔導(dǎo)強化訓(xùn)練，學(xué)與練交叉進行強化記憶，你所要做的就是認真聽，勤于問，樂于練。2.??清晰的知識結(jié)構(gòu)，根據(jù)應(yīng)用經(jīng)驗采用最優(yōu)化授課模式。3.??內(nèi)容充沛、詳略得當，前后呼應(yīng)。4.??講師資歷豐富，具有豐富的實踐經(jīng)驗。5.??知識講授+貼身案例+場景故事+互動討論+現(xiàn)場演練+落地跟蹤【課程對象】無線網(wǎng)、核

 講師：劉暉詳情

【課程特色】1.??課上采用案例式教學(xué)，通俗易懂，課下一對一輔導(dǎo)強化訓(xùn)練，學(xué)與練交叉進行強化記憶，你所要做的就是認真聽，勤于問，樂于練。2.??清晰的知識結(jié)構(gòu)，根據(jù)應(yīng)用經(jīng)驗采用最優(yōu)化授課模式。3.??內(nèi)容充沛、詳略得當，前后呼應(yīng)。4.??講師資歷豐富，具有豐富的實踐經(jīng)驗。5.??知識講授+貼身案例+場景故事+互動討論+現(xiàn)場演練+落地跟蹤【課程對象】相關(guān)人員【

 講師：劉暉詳情

5G產(chǎn)業(yè)發(fā)展與應(yīng)用創(chuàng)新【課程背景】隨著5G?技術(shù)的快速發(fā)展，5G?應(yīng)用已成為各界熱議的話題，很多行業(yè)陸續(xù)開展了相關(guān)的實踐探索。本課程站在科技發(fā)展的前沿，探討了5G在物聯(lián)網(wǎng)、人工智能、無人機、醫(yī)療、農(nóng)業(yè)、教育、工業(yè)互聯(lián)網(wǎng)、新媒體等行業(yè)的應(yīng)用案例。值得指出的是，案例以運營商、一流企業(yè)等機構(gòu)在5G領(lǐng)域的實踐為主線，對5G行業(yè)應(yīng)用創(chuàng)新案例做了詳細的講解?！菊n程收益】

 講師：劉暉詳情

【課程背景】隨著5G?技術(shù)的快速發(fā)展，5G?應(yīng)用已成為各界熱議的話題，很多行業(yè)陸續(xù)開展了相關(guān)的實踐探索。【課程收益】1了解5G從信息通信技術(shù)支持到業(yè)務(wù)模式推廣和場景的應(yīng)用，掌握5G在新時代、新技術(shù)下的行業(yè)發(fā)展趨勢；2以鮮活的應(yīng)用案例和解決方案詳細掌握5G給環(huán)保行業(yè)方面帶來全新變革的藍圖和愿景；【課程特色】1.??課上采用案例式教學(xué)，通俗易懂，課下一對一輔導(dǎo)強

 講師：劉暉詳情

5G賦能工業(yè)互聯(lián)網(wǎng)【課程背景】5G通過技術(shù)創(chuàng)新實現(xiàn)了增強型移動寬帶、超大規(guī)模物聯(lián)網(wǎng)和高可靠、低時延等三大應(yīng)用場景全覆蓋，把人與人之間的通信拓展到了人與物、物與物之間的通信，從消費互聯(lián)網(wǎng)拓展到了產(chǎn)業(yè)互聯(lián)網(wǎng)，為行業(yè)數(shù)字化轉(zhuǎn)型提供了關(guān)鍵的數(shù)字基礎(chǔ)設(shè)施。5G和人工智能/大數(shù)據(jù)/云計算/邊緣計算/區(qū)塊鏈等新一代信息技術(shù)相結(jié)合，多技術(shù)交織并進、深度滲透、協(xié)同應(yīng)用，孕育技

 講師：劉暉詳情

【課程背景】隨著5G?技術(shù)的快速發(fā)展，5G?應(yīng)用已成為各界熱議的話題，很多行業(yè)陸續(xù)開展了相關(guān)的實踐探索。本課程站在科技發(fā)展的前沿，探討了5G在物聯(lián)網(wǎng)、人工智能、無人機、醫(yī)療、農(nóng)業(yè)、教育、工業(yè)互聯(lián)網(wǎng)、新媒體等行業(yè)的應(yīng)用案例。值得指出的是，案例以運營商、一流企業(yè)等機構(gòu)在5G領(lǐng)域的實踐為主線，對5G行業(yè)應(yīng)用創(chuàng)新案例做了詳細的講解?！菊n程收益】1了解5G從信息通信技

 講師：劉暉詳情

【課程背景】隨著5G?技術(shù)的快速發(fā)展，5G?應(yīng)用已成為各界熱議的話題，很多行業(yè)陸續(xù)開展了相關(guān)的實踐探索。本課程站在科技發(fā)展的前沿，探討了5G與數(shù)字貨幣、區(qū)塊鏈在金融行業(yè)的應(yīng)用案例。值得指出的是，案例以運營商、一流企業(yè)等機構(gòu)在5G領(lǐng)域的實踐為主線，對5G金融行業(yè)應(yīng)用創(chuàng)新案例做了詳細的講解?！菊n程收益】1了解5G從信息通信技術(shù)支持到業(yè)務(wù)模式推廣和場景的應(yīng)用，掌握

 講師：劉暉詳情

【課程背景】國家電網(wǎng)“三型兩網(wǎng)、世界一流”戰(zhàn)略、南方電網(wǎng)定位“五者”，轉(zhuǎn)型“三商”戰(zhàn)略，需賦能智能終端，加速電網(wǎng)全面感知，打通數(shù)據(jù)和業(yè)務(wù)壁壘，驅(qū)動創(chuàng)新能力。傳統(tǒng)通信方式難以滿足數(shù)字電網(wǎng)發(fā)展需求，電力生產(chǎn)、傳輸、消費全過程需要低時延、大寬帶、大連接，對5G的訴求十分迫切5G作為最新一代的無線通信技術(shù)，其超高速率、超低時延、超大連接特性對智慧城市建設(shè)產(chǎn)生巨大的影

 講師：劉暉詳情

 發(fā)布內(nèi)容，請點我！ 講師申請/講師自薦
清華大學(xué)卓越生產(chǎn)運營總監(jiān)高級研修班
清華大學(xué)卓越生產(chǎn)運營總監(jiān)高級研修班
COPYRIGT @ 2018-2028 http://fanshiren.cn INC. ALL RIGHTS RESERVED. 管理資源網(wǎng) 版權(quán)所有