大數據技術入門 — Hadoop + Spark
內容描述
本書基礎理論、應用開發以及實際案例相結合，圍繞Hadoop、Spark生態圈循序漸進地介紹關於大數據技術領域中的基礎知識、應用開發技術和基於Spark的常見機器學習算法，最後以兩個實戰案例全面、系統地應用了本書介紹的基礎知識和應用開發方法。全書共14章，分別為大數據概述、Hadoop簡介及安裝部署、HDFS、MapReduce計算框架、Hive數據倉庫、HBase分佈式數據庫、Spark基礎、Spark RDD彈性分佈式數據集、Spark SQL、Spark Streaming實時計算框架、Spark Streaming與Flume、Kafka的整合、Spark MLlib 機器學習、實戰案例——分佈式優惠券後台應用系統和實戰案例——新聞話題實時統計分析系統，書中的每個知識點都有相應的實現代碼和實例。 本書主要面向廣大從事大數據分析、應用開發、機器學習、數據挖掘的專業人員以及從事高校信息技術專業的教師和高等院校的在讀學生及相關領域的廣大科研人員。
目錄大綱
第1章大數據概述
1.1大數據的研究背景
1.2大數據的定義及其技術特點
1.2.1大數據的定義
1.2.2大數據的基本特點
1.2.3典型的大數據處理需求與計算特徵
1.3大數據處理的主要技術特點與難點
1.4研究大數據的意義
1.5本章小結
第2章Hadoop簡介及安裝部署
2.1Hadoop簡介及生態體系
2.2Hadoop集群架構
2.3Hadoop集群運行環境搭建
2.3.1Hadoop安裝配置過程
2.3.2驗證Hadoop的安裝
2.4本章小結
第3章HDFS
3.1相關基本概念
3.2HDFS存儲架構
3.2.1HDFS寫入流程
3.2.2HDFS讀取流程
3.3HDFS的優點與缺點
3.3.1HDFS的優點
3.3.2HDFS的缺點
3.4HDFS Shell常用命令
3.5HDFS的Java API
3.6本章小結
第4章MapReduce計算框架
4.1MapReduce核心思想
4.2MapReduce的工作原理
4.3MapReduce的運行機制
4.4MapReduce數據本地化
4.5MapReduce編程
4.5.1MapReduce運行模式
4.5.2MapReduce編程組件與數據類型
4.6MapReduce編程示例
4.6.1單詞計數
4.6.2倒排索引
4.7本章小結
第5章Hive數據倉庫
5.1Hive概述
5.1.1Hive簡介
5.1.2Hive的架構
5.1.3Hive的優缺點
5.2Hive的安裝
5.2.1安裝MySQL
5.2.2安裝Hive
5.3Hive數據庫相關操作
5.3.1Hive的數據類型
5.3.2Hive基礎SQL語法
5.4本章小結
第6章HBase分佈式數據庫
6.1HBase概述
6.1.1HBase的架構
6.1.2HBase的特點
6.1.3HBase數據存儲方式
6.1.4HBase尋址機制
6.2HBase的安裝
6.3HBase數據模型
HBase的Shell操作
6.5HBase常用的Java API及示例程序
6.5.1HBase常用的Java API
6.5.2程序示例
6.6本章小結
第7章Spark基礎
7.1Spark概述
7.1.1Spark的主要特點
7.1.2Spark生態系統
7.1.3Spark相對於Hadoop MapReduce的優勢
7.2Spark的安裝
7.2.1Spark的部署方式
7.2.2Spark的安裝
7.3Spark運行架構與原理
7.4Spark運行流程
7.5本章小結
第8章Spark RDD彈性分佈式數據集
8.1RDD的設計與運行原理
8.1.1RDD的概念
8.1.2RDD的分區
8.1.3RDD的依賴關係
8.1.4RDD在Spark中的運行流程
8.1.5RDD容錯機制
8.2RDD API編程
8.2.1RDD的創建
8.2.2RDD的操作
8.3程序示例： 倒排索引
8.4本章小結
第9章Spark SQL
9.1Spark SQL概述
9.1.1Spark SQL簡介
9.1.2Spark SQL的架構
9.2DataFrame
9.2.1DataFrame簡介
9.2.2DataFrame的創建
9.2.3DataFrame的常用操作
9.3Dataset
9.4Spark SQL編程
9.4.1DataFrame操作
9.4.2Spark SQL 讀寫MySQL數據庫
9.4.3Spark SQL 讀寫Hive
9.5本章小結
第10章 Spark Streaming實時計算框架
10.1Spark Streaming概述
10.1.1流數據和流計算
10.1.2Spark Streaming簡介
10.1.3DStream簡介
10.2DStream編程
10.2.1DStream轉換操作
10.2.2DStream輸出操作相關的方法
10.3DStream編程示例
10.3.1DStream編程基本步驟——文件流
10.3.2無狀態轉換操作
10.3.3有狀態轉換操作
10.3.4輸出操作
10.4本章小結
第11章Spark Streaming與Flume、Kafka的整合
11.1Flume簡介及安裝
11.1.1Flume簡介
11.1.2Flume的安裝
11.2Kafka簡介及安裝
11.2.1Kafka簡介
11.2.2Kafka的安裝
11.3Flume與Kafka的區別和側重點
11.4Spark Streaming與Flume、Kafka的整合與開發
11.5本章小結
第12章Spark MLlib機器學習
12.1機器學概念
12.1.1機器學定義
12.1.2機器學分類
12.2MLlib簡介
12.3Spark MLlib的數據類型
12.3.1本地向量
12.3.2標註點
12.3.3本地矩陣
12.4Spark MLlib機器學習示例
12.4.1特徵抽取——TFIDF
12.4.2分類與回歸——線性回歸
12.4.3分類與回歸——邏輯回歸
12.4.4協同過濾——電影推薦
12.5本章小結
第13章實戰案例——分佈式優惠券後台應用系統
13.1系統簡介
13.2整體架構
13.3表結構設計
13.4系統實現
13.4.1商戶投放子系統
13.4.2用戶消費子系統
13.5系統運行測試
13.5.1啟動系統
13.5.2商戶投放子系統測試
13.5.3用戶消費子系統測試
13.6本章小結
第14章實戰案例——新聞話題實時統計分析系統
14.1系統簡介
14.2系統總體架構
14.3表結構設計
14.4系統實現
14.4.1模擬日誌生成程序
14.4.2Flume配置
14.4.3配置Kafka
14.4.4Spark Streaming開發
14.4.5WebSocket和前端界面開發
14.5系統運行測試
14.6本章小結
參考文獻
作者介紹
於海浩，男，1974年1月生，高級工程師，黑龍江工程學院計算機學院教師，主講大數據實踐和人工智能課程，研究方向為大數據處理與挖掘，深度學習。主持或參與國家、省部級、廳局級項目6項。以第一作者發表論文10餘篇，作為高級項目經理和企業管理者組織了黑龍江省電力營銷系統、地下管廊運維監管平台、智慧城管、城鎮職工醫療系統的項目管理工作，有任企業技術總監的職務經歷。
