雲計算與大數據技術
內容描述
本書以大數據系統運維工程師崗位要求為依據,以企業的實際工作任務為導向編寫而成。全書分為三個部分,共7章,分別介紹:雲計算與大數據運維概論、Linux操作系統、OpenStack部署與運維、Docker容器虛擬化技術、大數據運維導論、大數據運維實操、大數據運維監控。
本書可作為大學本科和高等職業技術學院大數據、雲計算、電腦網絡等電腦相關專業的教學用書,也可供有關技術人員參考、學習、培訓之用。
目錄大綱
一部分 平台基礎
1章 雲計算與大數據運維概論 2
1.1 雲計算產生背景 2
1.2 雲計算的基本概念 4
1.2.1 雲計算定義 4
1.2.2 雲能力類型 4
1.2.3 雲服務類別 4
1.2.4 典型雲計算部署模式 5
1.2.5 雲計算基本特徵 7
1.3 雲計算技術 8
1.3.1 雲計算的發展現狀 8
1.3.2 雲計算技術發展特點 9
1.3.3 雲計算架構 10
1.3.4 雲計算網絡與安全 12
1.4 雲存儲 12
1.4.1 數據中心構建與管理 12
1.4.2 虛擬化技術 13
1.5 雲計算與大數據的關係 15
1.5.1 雲計算與大數據的聯繫 15
1.5.2 雲計算與大數據的區別 15
1.6 大數據的基本概念 15
1.6.1 什麼是數據 15
1.6.2 大數據的定義 16
1.6.3 大數據的基本特徵 16
1.7 大數據技術 17
1.7.1 大數據採集 17
1.7.2 大數據存儲 17
1.7.3 大數據計算 17
1.7.4 大數據分析 18
1.7.5 大數據可視化 18
1.7.6 大數據平台監控 19
1.7.7 大數據平台運維 19
1.8 應用場景介紹 19
1.9 本章小結 20
1.10 習題 20
2章 Linu作系統 21
2.1 Linu作系統的安裝與配置 21
2.1.1 作系統的作用 21
2.1.2 Linu作系統 22
2.1.3 實踐任務:CenOS 7的安裝與配置 24
2.1.4 磁盤分區 27
2.1.5 交換分區 28
2.2 Linu用戶與組的管理 29
2.2.1 Linu用戶和用戶組的概念 29
2.2.2 實踐任務:Linu用戶的管理 30
2.2.3 實踐任務:Linu用戶組的管理 32
2.3 Linu文件管理 33
2.3.1 Linu文件的概念 33
2.3.2 Linu文件類型與權限 35
2.3.3 實踐任務:文件系統的命令 37
2.3.4 實踐任務:文件的壓縮與打包 40
2.3.5 實踐任務:軟件包的管理 42
2.4 Shell的運用 45
2.4.1 文本編輯器 46
2.4.2 Shell腳本介紹 49
2.4.3 實踐任務:Shell腳本常用命令 50
2.5 Linu進程管理 53
2.5.1 Linu進程簡介 53
2.5.2 實踐任務:進程管理 54
2.6 Linu網絡管理 57
2.6.1 網絡的基本概念 57
2.6.2 網絡設備的作用 58
2.6.3 網絡配置 58
2.6.4 實踐任務:網絡作與測試命令 60
2.7 本章小結 62
2.8 習題 62
*二部分 虛擬化技術
3章 OpenStack部署與運維 66
3.1 OpenStack概述 67
3.1.1 OpenStack的產生 67
3.1.2 OpenStack簡介 68
3.1.3 OpenStack的特點 69
3.1.4 OpenStack的架構 69
3.2 OpenStack的服務 71
3.2.1 身份認證服務 71
3.2.2 鏡像服務 72
3.2.3 計算服務 72
3.2.4 網絡服務 73
3.2.5 對象存儲服務 74
3.2.6 塊存儲服務 74
3.2.7 界面服務 75
3.3 OpenStack的安裝與部署 75
3.3.1 基本環境配置 76
3.3.2 OpenStack軟件的安裝 76
3.3.3 Keystone的安裝 83
3.3.4 Glance的安裝 90
3.3.5 va的安裝 96
3.3.6 Neutron的安裝 111
3.3.7 Horizon的安裝 124
3.4 本章小結 127
3.5 習題 128
4章 Docker容器虛擬化技術 129
4.1 Docker概述 130
4.1.1 Docker技術的產生 130
4.1.2 Docker的定義 131
4.1.3 Docker的工作原理 132
4.1.4 Docker與OpenStack的區別 133
4.1.5 Docker容器與虛擬機的關係 134
4.2 Docker的安裝與配置 134
4.2.1 Docker的安裝環境 134
4.2.2 Docker的目錄結構 137
4.2.3 Docker的基本信息查看 138
4.3 Docker的鏡像管理 139
4.3.1 獲取鏡像 139
4.3.2 查看鏡像 141
4.3.3 查找鏡像 141
4.3.4 上傳鏡像 142
4.3.5 刪除鏡像 142
4.3.6 創建鏡像 143
4.4 Docker的容器管理 144
4.4.1 啟動容器 144
4.4.2 終止容器 146
4.4.3 刪除容器 146
4.4.4 進入容器 146
4.4.5 導出和導入容器 148
4.4.6 Docker容器的Web界面管理 149
4.5 案例分析:在Linu作系統中安裝Docker並部署MySQL鏡像 151
4.6 本章小結 154
4.7 習題 154
三部分 大數據運維與監控
5章 大數據運維導論 156
5.1 大數據運維概述 156
5.2 大數據運維主流工具簡介 159
5.2.1 大數據系統技術方案 159
5.2.2 Hadoop原理簡介 159
5.2.3 ZooKeeper原理簡介 161
5.2.4 HBase原理簡介 161
5.2.5 Spark原理簡介 166
5.2.6 Hive原理簡介 167
5.2.7 MongoDB原理簡介 168
5.2.8 Kafka原理簡介 170
5.2.9 Storm原理簡介 172
5.2.10 Flume原理簡介 174
5.3 本章小結 177
5.4 習題 177
6章 大數據運維實 178
6.1 Hadoop安裝及配置 178
6.1.1 配置3台服務器間SSH免密遠程登錄 178
6.1.2 配置Java環境 181
6.1.3 Hadoop分佈式文件系統集安裝及配置 182
6.2 ZooKeeper安裝及配置 189
6.3 HBase安裝及配置 197
6.3.1 HBase完全分佈環境搭建 197
6.3.2 HBase基本作實例 203
6.4 Spark安裝及配置 206
6.5 Hive安裝及配置 211
6.5.1 安裝配置MySQL 211
6.5.2 Hive本地模式安裝配置 213
6.6 MongoDB安裝及配置 223
6.7 Kafka安裝及配置 226
6.7.1 Kafka安裝 226
6.7.2 Kafka啟動 226
6.8 Storm安裝及配置 230
6.8.1 Storm環境搭建 230
6.8.2 安裝IDEA編程環境及配置Maven環境 233
6.8.3 IDEA下創建Maven項目 235
6.9 Flume安裝及配置 248
6.10 本章小結 252
6.11 習題 252
7章 大數據運維監控 253
7.1 使用Hadoop實現運維監控 254
7.1.1 使用Shell命令查看Hadoop運行情況 254
7.1.2 通過瀏覽器監控Hadoop運行情況 255
7.2 使用Nagios工具實現運維監控 257
7.2.1 Nagios簡介 257
7.2.2 Nagios監控安裝配置 259
7.3 使用Ganglia實現對Hadoop和HBase集的運維監控 270
7.3.1 Ganglia簡介 270
7.3.2 Ganglia安裝環境準備 271
7.3.3 Ganglia安裝 271
7.3.4 服務器端配置 275
7.3.5 客戶機端配置 279
7.3.6 啟動各個服務及監控進程 279
7.3.7 查看監控 280
7.4 本章小結 283
7.5 習題 283
參考文獻 284
作者介紹
華育興業科技有限公司是集技術開發、教育產品設計、計算機技術培訓為一體的科技型教育企業。
公司作為“甲骨文WDP中國區運營中心”,專注於IT技術培訓,開設大數據、java、WEB全棧開發、python+人工智能、全棧UI設計等培訓課程。
它還進行國家協同育人項目申辦、高校新工科大數據專業共建、大數據實驗室建設等完整大數據教育產品提供,創辦13年來,死磕IT教育,已與國內上百家高校建立了合作關係,與上千家IT相關企業建立了高端雇主聯盟。