大數據應用培訓方案

大數據應用
培訓方案

一、培訓的目的及意義

隨著我國智能電網的發(fā)展，電力系統(tǒng)發(fā)、輸、變、配、用電各個環(huán)節(jié)的信息化進程
不斷推進。在用電側，利用電力大數據分析可以了解產業(yè)結構、經濟走勢、房屋空置率
、區(qū)域消費能力等情況，從而可以更好地為經濟服務。
　　伴隨著智能電網的全面建設，以物聯(lián)網和云計算為代表的新一代信息通信技術在電
力行業(yè)中的廣泛應用，電力數據資源開始急劇增長并形成了一定的規(guī)模。電力與社會經
濟的發(fā)展密切相關，電力需求變化是經濟運行的“晴雨表”和“風向標”，能夠真實、客觀
地反映國民經濟的發(fā)展狀況與態(tài)勢。因此，發(fā)展電力大數據是電力行業(yè)革新的必然過程
。國家電網公司正在制定以云計算和大數據為技術支撐的信息系統(tǒng)方案，以提高國網公
司信息系統(tǒng)的安全性、穩(wěn)定性、可用性，為公司決策、生產、運營、管理提供更好的支
撐平臺，助力公司發(fā)展方式的轉變。

二、培訓對象

公司專兼職信息通信運維及管理人員。

三、培訓時間

培訓共五天



四、培訓內容

大數據（Hadoop）介紹，分布式文件系統(tǒng)應用
MapReduce應用及調優(yōu)
hadoop集群及管理
hadoop子項zookeeper、hbase、pig、hive、sqoop、rdbms應用
大數據實戰(zhàn)

五、課程安排

|日程 |授課主題 |課程安排 |
|第 |Hadoop入門，了解什么|Hadoop產生背景 |
|一 |是hadoop |Hadoop在大數據、云計算中的位置和關系 |
|~ | |國內外Hadoop應用案例介紹 |
|二 | |國內Hadoop的就業(yè)情況分析及課程大綱介紹 |
|天 | |分布式系統(tǒng)概述 |
| | |Hadoop生態(tài)圈以及各組成部分的簡介 |
| | |Hadoop核心MapReduce例子說明 |
| |分布式文件系統(tǒng)HDFS，|分布式文件系統(tǒng)DFS簡介 |
| |是數據庫管理員的基礎|HDFS的系統(tǒng)組成介紹 |
| |課程 |HDFS的組成部分詳解 |
| | |副本存放策略及路由規(guī)則 |
| | |NameNode Federation |
| | |命令行接口 |
| | |Java接口 |
| | |客戶端與HDFS的數據流講解 |
| | |HDFS的可用性（HA） |
| |初級MapReduce，成為H|如何理解map、reduce計算模型 |
| |adoop開發(fā)人員的基礎 |剖析偽分布式下MapReduce作業(yè)的執(zhí)行過程 |
| |課程 |Yarn模型 |
| | |序列化 |
| | |MapReduce的類型與格式 |
| | |MapReduce開發(fā)環(huán)境搭建 |
| | |MapReduce應用開發(fā) |
| | |更多示例講解，熟悉MapReduce算法原理 |
| |高級MapReduce，高級H|使用壓縮分隔減少輸入規(guī)模 |
| |adoop開發(fā)人員的關鍵 |利用Combiner減少中間數據 |
| |課程 |編寫Partitioner優(yōu)化負載均衡 |
| | |如何自定義排序規(guī)則 |
| | |如何自定義分組規(guī)則 |
|第 | |MapReduce優(yōu)化 |
|三 | |編程實戰(zhàn) |
|~ | | |
|四 | | |
|天 | | |
| |Hadoop集群與管理，是|Hadoop集群的搭建 |
| |數據庫管理員的高級課|Hadoop集群的監(jiān)控 |
| |程 |Hadoop集群的管理 |
| | |集群下運行MapReduce程序 |
| |ZooKeeper基礎知識， |ZooKeeper體現結構 |
| |構建分布式系統(tǒng)的基礎|ZooKeeper集群的安裝 |
| |框架 |操作ZooKeeper |
| |HBase基礎知識，面向 |HBase定義、HBase與RDBMS的對比 |
| |列的實時分布式數據庫|數據模型、系統(tǒng)架構 |
| | |HBase上的MapReduce、表的設計 |
| |HBase集群及其管理 |集群的搭建過程講解 |
| |HBase客戶端 |集群的監(jiān)控 |
| | |集群的管理 |
| | |HBase Shell以及演示 |
| | |Java客戶端以及代碼演示 |
|第 |Pig基礎知識，進行had|Pig概述 |
|五 |oop計算的另一種框架 |安裝Pig |
|天 | |使用Pig完成手機流量統(tǒng)計業(yè)務 |
| |Hive，使用sql進行計 |數據倉庫基礎知識 |
| |算的hadoop框架 |Hive定義、Hive體系結構簡介、Hive集群 |
| | |客戶端簡介 |
| | |HiveQL定義、HiveQL與SQL的比較 |
| | |數據類型 |
| | |表與表分區(qū)概念、表的操作與CLI客戶端演示 |
| | |數據導入與CLI客戶端演示、查詢數據與CLI客戶端演示|
| | |數據的連接與CLI客戶端演示、用戶自定義函數（UDF）|
| | |的開發(fā)與演示 |
| |Sqoop，hadoop與rdbms|配置Sqoop |
| |進行數據轉換的框架 |使用Sqoop把數據從mysql導入到HDFS中 |
| | |使用Sqoop把數據從HDFS導出到mysql中 |
| |結訓考試 |結訓考試 |

駱飛老師的其它課程