Hadoop 應用開發基礎
內容描述
Hadoop是一個分佈式系統的基礎架構，
支持對大量數據進行分佈式處理，能以高效、可靠的方式完成數據處理。
本書圍繞Hadoop生態圈技術進行講解，
主要包括Hadoop環境配置、Hadoop分佈式文件系統（HDFS）、
Hadoop分佈式計算框架MapReduce、Hadoop資源調度框架YARN與Hadoop新特性、
Hadoop分佈式數據庫HBase、Oozie工作流調度系統等內容。
本書以Linux操作系統為平台，緊密結合實際應用，貫穿了大量實踐案例。
另外，本書配以多元的學習資源和平台服務，
包括參考教案、案例素材下載、學習交流社區等，
為讀者提供全方位的學習體驗。
通過系統地學習本書內容和操作實踐，
讀者可以掌握大數據相關技能。
本書適合作為高等學校計算機專業大數據等相關課程的教材使用，
也適合具有一定Linux、Java開發經驗且想從事大數據開發工作的人員自學使用，
還適合作為大數據分析與運維人員的參考用書。
目錄大綱
第1章Hadoop入門1
任務1了解大數據現狀2
1.1.1大數據基本概念和特徵2
1.1.2大數據帶來的機遇和挑戰3
任務2了解Hadoop基礎4
1.2.1 Hadoop概述4
1.2.2 Hadoop生態圈7
1.2.3 Hadoop應用案例9
任務3搭建移動通信業務的Hadoop處理平台11
1.3.1安裝虛擬機11
1.3.2安裝Linux操作系統13
1.3.3搭建移動通信業務的Hadoop處理平台25
1.3 .4大數據集群管理平台28
1.3.5技能實訓29
本章總結29
本章作業29
第2章Hadoop分佈式文件系統HDFS 31
任務1了解HDFS 32
2.1.1認識HDFS 32
2.1.2 HDFS架構34
任務2使用HDFS處理移動通信數據文件35
2.2.1使用HDFS shell操作完成移動通信數據的管理35
2.2.2使用Java API操作完成移動通信數據的管理38
2.2.3技能實訓43
任務3了解HDFS運行原理43
2.3.1 HDFS讀寫流程43
2.3.2 HDFS副本機制45
2.3.3 HDFS負載均衡46
2.3.4 HDFS機架感知46
任務4實現移動通信數據的行文件方式存儲47
2.4.1 Hadoop序列化機制47
2.4.2文件格式51
2.4.3技能實訓56
本章總結56
本章作業56
第3章Hadoop分佈式計算框架MapReduce 57
任務1使用MapReduce完成詞頻統計功能58
3.1.1 MapReduce基礎58
3.1.2 MapReduce編程模型59
3.1.3 MapReduce詞頻統計編程實例60
3.1.4技能實訓64
任務2按號段統計手機號碼65
3.2.1 MapReduce輸入/輸出格式65
3.2.2 Combiner類67
3.2.3 Partitioner類69
3.2.4 Shuffle階段72
3.2.5自定義RecordReader 73
3.2.6技能實訓77
任務3使用MapReduce編寫應用案例77
3.3.1使用MapReduce實現join操作78
3.3.2使用MapReduce實現排序功能84
3.3.3使用MapReduce實現二次排序功能86
3.3.4技能實訓91
本章總結91
本章作業91
第4章Hadoop YARN 93
任務1在YARN集群上運行MapReduce作業94
4.1.1 YARN的產生背景94
4.1.2 YARN簡介95
4.1.3 YARN架構設計101
4.1.4技能實訓103
任務2配置YARN容錯104
4.2.1 ResourceManager自動重啟104
4.2.2 ResourceManager高可用105
本章總結108
本章作業108
第5章ZooKeeper簡介及安裝109
任務1了解ZooKeeper 110
5.1.1 ZooKeeper概念110
5.1.2 ZooKeeper的作用及優勢111
5.1.3 ZooKeeper架構111
5.1.4 ZooKeeper的應用案例113
任務2搭建ZooKeeper單機環境114
5.2.1 ZooKeeper下載安裝114
5.2.2 ZooKeeper配置114
5.2.3啟動ZooKeeper 115
5.2.4技能實訓115
任務3實現分佈式系統服務器上下線的動態感知116
5.3.1 ZooKeeper Client命令行操作116
5.3.2 Java API操作ZooKeeper 119
5.3.3技能實訓129
本章總結130
本章作業130
第6章HBase基礎131
任務1了解HBase 132
6.1.1 HBase是什麼132
6.1.2 HBase發展歷史133
6.1.3 HBase使用案例133
任務2理解HBase體系架構134
6.2.1架構簡介134
6.2.2 HMaster 135
6.2.3 HRegion 135
6.2.4 HRegionServer 136
6.2.5 ZooKeeper 136
任務3理解HBase數據模型136
6.3.1數據模型137
6.3.2概念視圖137
6.3.3物理視圖139
任務4 搭建HBase環境140
6.4.1 HBase安裝包下載140
6.4.2 HBase解壓安裝141 6.4.3HBaseα
分佈式環境搭建141
6.4 .4技能實訓145
本章總結145
本章作業146
第7章HBase操作147
任務1使用HBase Shell完成“王者榮耀”遊戲玩家信息管理操作148
7.1.1 DDL操作148
7.1.2 DML操作154
7.1.3技能實訓159
任務2使用HBase Java API完成“王者榮耀”遊戲玩家信息管理操作159
7.2.1開發環境搭建159
7.2.2核心API 163
7.2.3技能實訓170
任務3使用HBase Rest API訪問“王者榮耀“遊戲玩家信息表170
7.3.1啟動/停止休息服務命令170 7.3.3
訪問方式171
本章
總結172
本章作業172
第8章HBase應用173
任務1使用表空間管理“王者榮耀”遊戲玩家信息表174
8.1.1 HBase名字空間簡介174
8.1.2
技能訓練182
任務2對“王者榮耀”遊戲玩家信息表進行權限管理182
8.2.1授予權限GRANT 182
8.2.2查看權限USER_PERMISSION 184
8.2.3收回權限REVOKE 184
8.2.4技能實訓185
任務3理解HRegion切分185
8.3.1 HRegion切分概念185
8.3.2切分策略185
任務4了解HBase中的壓實過程186
8.4.1壓實概念187
8.4.2壓實實現方式187
8.4.3壓實參數187
本章總結188
本章作業188
第9章工作流調度框架Oozie 189
任務1理解Apache Oozie架構190
9.1.1 Oozie簡介190
9.1.2 Oozie架構190
任務2搭建Oozie環境194
9.2.1 Oozie下載安裝194
9.2.2 Oozie配置195
9.2.3 Oozie啟動198
9.2.4技能實訓198
任務3實現遊戲玩家搜索功能198
9.3.1 Shell Action 199
9.3.2 Java Action 201
9.3.3 MapReduce Action 203
9.3.4實現遊戲玩家搜索功能205
9.3.5技能實訓210
本章總結210
本章作業210
第10章項目實訓——《王者榮耀》遊戲英雄排行榜211
10.1項目需求212
10.2項目環境準備213
10.3項目覆蓋的技能點213
10.4難點分析214
10.5項目實現思路219
本章總結233
本章作業233
