Spark:原理、機制及應用
內容描述
<內容介紹>
《Spark(原理機制及應用)》以Spark 1.4為基礎,詳細介紹了spark技術概況、內部機制和應用情況。作者劉馳結合國內外眾多資料和項目經驗,力求深入淺出地講解spark技術的生態應用和發展狀況,選取了Spark summ「中的典型案例進行解析,為讀者全國展現spark技術在業界的應用情況。 本書適合spark技術初學者、spark技術愛好者、spark運維工程師和開源軟件愛好者,也可以作為相關培訓學校和大專院校相關專業的教學用書。
<章節目錄>前言第一篇 概念篇第1章 Spark概述 1.1 Spark初見 1.1.1 Spark的發展史及近況 1.1.2 Spark的特點 1.1.3 Spark的作用 1.1.4 Spark的體系結構 1.1.5 Spark的發展趨勢 1.2 Spark框架 1.2.1 批處理框架 1.2.2 流處理框架 1.3 Spark的生態系統 1.4 Spark的數據存儲 1.5 本章小結 第2章 Spark環境配置 2.1 Spark運行環境配置 2.1.1 先決條件 2.1.2 下載與運? 2.1.3 使用交互? 2.1.4 搭建Spark Standalone集群 2.2 Spark開發環境配置 2.2.1 Spark獨立應用程序 2.2.2 構建IDE開發環境 2.3 Spark編譯環境配置 2.3.1 使用Maven編譯項目源碼 2.3.2 使用IDEA搭建源碼編譯與 閱讀環境 2.4 本章小結
第二篇 開發篇第3章 Spark核心開發 3.1 Spark編程模型概述 3.2 Spark 3.2.1 SparkContext的作用 3.2.2 SparkContext的創建 3.2.3 使用 3.2.4 應用實踐 3.3 RDD簡介 3.3.1 RDD創建 3.3.2 RDD轉換操作 3.3.3 RDD動作操作 3.3.4 RDD惰性計算 3.3.5 RDD持久化 3.3.6 RDD檢查點 3.4 共享變量 3.4.1 廣播變量 3.4.2 累加器 3.5 Spark核心開發實踐 3.5.1 單值型Trasnformation算子 3.5.2 鍵值對型Transformation算子 3.5.3 Action算子
3.6 本章小結第4章 Spark四大應用技術框架 4.1 Sp 4.1.1 Spark SQL入門 4.1.2 數據源 4.1.3 性能調優 4.1.4 分佈式SQL引擎 4.1.5 Shark遷移至Spark SQL指南 4.1.6 Hive的兼容性 4.1.7 Spark SQL數據類型 4.2 Spark St 4.2.1 Spark Streaming簡介 4.2.2 入門實例 4.2.3 基本概念 4.3 Spark 4.3.1 Spark GraphX簡介 4.3.2 屬性圖 4.3.3 圖操作 4.3.4 Preg 4.3.5 圖構造器 4.3.6 頂點與邊相關 4.3.7 最優化表示 4.3.8 圖演算法 4.3.9 E 4.4 Spark 4.4.1 Spark MLlib簡介 4.4.2 數據類型 4.4.3 基本統計分析 4.4.4 分類與回歸 4.4.5 協同過濾 4.4.6 聚類 4.4.7 降維 4.4.8 特徵提取與轉換 4.4.9 頻繁模式挖掘 4.4.10 最優化演算法 4.4.11 導出PMML模式 4.5 4.5.1 SparkR Dat 4.5.2 DataFrame的相關操作 4.5.3 從SparkR運行SQL查詢第5章 Spark系統配置與調優 ……第三篇 機制篇第四篇 應用篇