大數據應用技術
內容描述
本書主要結合當前流行的大數據框架Hadoop、HBase、Hive、、Storm、Flume、Kafka、Spark、Spark GraphX，採用案例形式系統地講解大數據應用技術的相關知識。全書共有8章，分別介紹了大數據概論、大數據基礎知識、大數據文件存儲系統、大數據文件存儲系統、大數據計算技術、大數據應用程序協調服務、大數據存儲應用技術、大數據倉庫應用技術、大數據實時應用技術。為了讓讀者能夠及時地檢驗自己的學習效果，把握自己的學習進度，各章後面都附有相應的習題。
目錄大綱
第壹章 大數據概論 1
1.1 數據的基本概念 1
1.1.1 什麼是數據 1
1.1.2 數據組成結構 2
1.1.3 數據的價值 4
1.2 什麼是大數據 4
1.2.1 大數據產生背景 4
1.2.2 大數據發展的原動力 5
1.2.3 大數據基本概念與特徵 6
1.2.4 大數據與雲計算 6
1.2.5 大數據與人工智能 7
1.3 大數據主要技術 8
1.3.1 概述 8
1.3.2 大數據採集與處理 9
1.3.3 大數據存儲技術 9
1.3.4 大數據計算技術 11
1.3.5 大數據可視化 12
1.3.6 大數據安全 12
1.4 大數據主流框架 14
1.4.1 Hadoop 14
1.4.2 ZooKeeper 14
1.4.3 HBase 14
1.4.4 Hive 14
1.4.5 Storm 15
1.4.6 Flume 15
1.4.7 Kafka 15
1.5 本章小結 15
1.6 習題 16
第2章 大數據基礎知識 17
2.1 概述 17
2.1.1 Hadoop產生背景 17
2.1.2 Hadoop核心模塊 18
2.1.3 Hadoop相關項目 19
2.2 Common 20
2.3 HDFS 20
2.3.1 HDFS設計思想 20
2.3.2 HDFS體系結構 21
2.3.3 文件系統命名空間 22
2.3.4 數據複製 22
2.3.5 副本放置策略 23
2.3.6 副本選擇 23
2.3.7 安全模式 23
2.3.8 元數據的持久性 24
2.3.9 通信協議 24
2.3.10 健壯性 24
2.4 YARN 25
2.5 MapReduce 27
2.6 Hadoop應用場景 29
2.7 Hadoop環境配置 29
2.7.1 Hadoop配置基礎知識 29
2.7.2 Hadoop安裝模式 29
2.7.3 Hadoop版本選擇 30
2.7.4 Hadoop偽分佈模式搭建 31
2.8 基於Hadoop平台的IDEA開發環境搭建 36
2.8.1 Maven項目的創建 36
2.8.2 編寫經典的MapReduce程序WordCount 38
2.9 本章小結 46
2.10 習題 46
第3章 大數據文件存儲系統 48
3.1 數據塊 48
3.2 HDFS工作流 49
3.2.1 HDFS寫數據過程 49
3.2.2 HDFS讀數據過程 50
3.3 HDFS應用程序設計 51
3.3.1 HDFS Shell命令 51
3.3.2 Web接口 53
3.3.3 HDFS API 55
3.3.4 HDFS API寫操作 57
3.3.5 HDFS API讀操作 59
3.4 HDFS存儲格式 60
3.5 Hadoop I/O 61
3.5.1 壓縮 61
3.5.2 I/O序列化類型 64
3.6 本章小結 67
3.7 習題 67
第4章 大數據計算技術 68
4.1 MapReduce運行過程 68
4.2 MapReduce編程過程 70
4.3 MapReduce數據類型 72
4.4 Mapper輸入 73
4.5 Shuffle原理 76
4.5.1 Shuffle工作原理 76
4.5.2 自定義分區 79
4.5.3 自定義排序 81
4.5.4 自定義分組 82
4.6 Combiner本地合併優化 83
4.7 Reducer輸出 84
4.8 計數器 89
4.9 MapReduce應用開發 91
4.9.1 大小計數值 92
4.9.2 全排序 94
4.9.3 二次排序 97
4.10 本章小結 102
4.11 習題 102
第5章 大數據應用程序協調服務 103
5.1 ZooKeeper概述 103
5.1.1 ZooKeeper簡介 103
5.1.2 ZooKeeper常用術語 104
5.1.3 ZooKeeper設計目標 104
5.1.4 數據模型和分層命名空間 105
5.1.5 ZooKeeper工作原理 106
5.2 ZooKeeper集群搭建 107
5.2.1 集群規劃 107
5.2.2 ZooKeeper集群安裝 107
5.3 ZooKeeper與Hadoop高可用性 110
5.4 Hadoop高可用性集群部署 111
5.4.1 集群規劃 111
5.4.2 集群部署 112
5.5 本章小結 122
5.6 習題 122
第6章 大數據存儲應用技術 123
6.1 HBase 基礎知識 123
6.1.1 HBase產生背景 123
6.1.2 HBase數據模型 124
6.1.3 HBase體系結構 125
6.1.4 HBase與HDFS 127
6.1.5 HBase應用場景 127
6.2 HBase開發環境配置 128
6.2.1 HBase配置前的準備工作 128
6.2.2 HBase配置基礎知識 128
6.2.3 HBase集群環境配置 130
6.3 HBase Shell 134
6.4 HBase API 139
6.4.1 管理表結構 139
6.4.2 管理表信息 142
6.4.3 信息查詢 143
6.5 HBase表設計 145
6.6 本章小結 145
6.7 習題 145
第7章 大數據倉庫應用技術 147
7.1 Hive基礎知識 148
7.1.1 Hive產生背景 148
7.1.2 Hive體系結構 148
7.1.3 Hive執行流程 150
7.1.4 Hive應用場景 151
7.2 Hive開發環境配置 151
7.2.1 Hive配置基礎知識 151
7.2.2 Hive安裝模式 151
7.2.3 Hive遠程安裝模式實戰 153
7.3 Hive命令 155
7.3.1 Hive交互命令界面Shell簡介 155
7.3.2 Hive非交互界面執行簡介 156
7.4 Hive開發基礎知識 157
7.4.1 數據類型與文本文件編碼 158
7.4.2 數據讀取模式 162
7.4.3 Hive關鍵字 162
7.5 Hive基本操作 163
7.5.1 Hive數據庫管理操作 163
7.5.2 Hive表管理操作 164
7.5.3 Hive查詢基本語法規則 165
7.5.4 Hive基本查詢 165
7.5.5 Hive*查詢 167
7.5.6 Hive JOIN查詢 173
7.6 Hive API 175
7.7 本章小結 176
7.8 習題 176
第8章 大數據實時應用技術 177
8.1 Storm基礎知識 177
8.1.1 Storm基本概述 178
8.1.2 Storm特徵 178
8.1.3 Storm系統結構 179
8.1.4 Storm運行原理 180
8.1.5 Storm應用場景 180
8.2 Storm開發環境安裝 181
8.2.1 Storm配置基礎知識 181
8.2.2 Storm快速部署 181
8.2.3 Storm集群部署 183
8.3 Storm 編程 185
8.4 Storm實現約車大數據分析 190
8.4.1 模擬生成實時約車數據 191
8.4.2 Flume整合Kafka 192
8.4.3 約車數據採集後基於Storm進行實時處理 195
8.5 本章小結 200
8.6 習題 200
作者介紹
王國珺，副教授，從事高校計算機教育近20年，主要研究方向為大數據、機器學習，近期主持省級課題1項，廳級課題1項，參與省級課題1項，公開發表國家級論文5篇。
