Storm -- 大數據分散式即時運算系統 (舊版: Storm : 從Hadoop批次處理到即時串流處理)
內容描述
黃燈橋 阿里巴巴、yahoo、Twitter、Groupon等大型互聯網企業,處理即時巨量資料的最實用工具!
本書從基礎知識、安裝與部署、研發與維護、進階知識、企業應用等5個模組,分別介紹Storm 的安裝與設定、基本原理、Topology 元件、Spout 元件、Bolt 元件、ZooKeeper 叢集、實戰環節等內容。讓讀者在最短的時間內系統掌握Storm 的理論基礎,針對Linux 平台架設與研發自己以Storm 為基礎的巨量資料處理平台。
適合:所有巨量資料處理、即時流資料處理、Storm的開發者或有興趣者,或大專院校和培訓單位等相關科系的師生參考使用。
序
序
前言
Storm 是一個免費開放原始碼的分散式即時計算系統。Storm 能輕鬆可靠地處理無界的資料流,就像Hadoop 批次處理一樣對資料進行即時處理;但是Storm能持續運作下去,並且Storm 的使用十分簡單,開發人員可以使用任何程式語言對它操作,獲得滿意的結果。
本書以Storm 官方網站最新的Release 版本Storm 0.9.0.1 說明,從零開始,讓讀者在較短的時間內系統掌握Storm 的理論基礎,針對Linux 平台架設與研發自己以Storm 為基礎的巨量資料處理平台。全書分為5 個模組,共20 章內容,其中“基礎知識”6 章、“安裝與部署”4 章、“研發與維護”4 章、“進階知識”5 章、“企業應用”1 章,分別介紹了Storm 的安裝與設定、Storm 的基本原理、Topology 元件、Spout 元件、Bolt 元件、ZooKeeper 叢集、實戰環節等內容,包含理論基礎、環境架設、研發準備、應用案例等。
作為第一本介紹Storm 的書籍, 本書Storm 理論部分主要參考了Storm Wiki;另外,為了更進一步地了解Storm,也參考了不少Storm 同好的中文翻譯文章;而Storm 的應用部分,是本書作者的實戰應用經驗與理論相結合的結晶。本書在撰寫過程中,獲得多位Storm 開發者/ 同好的幫助以及對本書的校驗和建議,在此表示感謝,特別要感謝趙鴻、陳險峰。
由於作者水準有限,且本書有關的基礎知識較多,書中難免有不妥和錯誤之處,敬請讀者們批評指正。
書中的原始程式碼主要來自storm-starter 專案,下載網址為:github.com/nathanmarz/ storm-starter。
為了更有效地學習,建議讀者在開始學習或閱讀本書前先了解Linux 的基本操作、Shell 指令稿的基本語法、Java 語言的基本語法等內容。
目錄大綱
前言
Chapter 01 基礎軟體的安裝與使用
Chapter 02 Storm 的基礎
Chapter 03 拓撲詳解
Chapter 04 元件詳解
Chapter 05 Spout 詳解
Chapter 06 Bolt 詳解
Chapter 07 ZooKeeper 詳解
Chapter 08 基礎軟體的安裝與使用
Chapter 09 Storm 的安裝與設定
Chapter 10 Storm 叢集架設實作
Chapter 11 準備Storm 的開發環境
Chapter 12 開發自己的Storm 應用
Chapter 13 storm-starter 詳解
Chapter 14 研發與叢集管理技巧
Chapter 15 DRPC 詳解
Chapter 16 交易拓撲詳解
Chapter 17 Trident 詳解
Chapter 18 Storm 的內部實現
Chapter 19 Storm 相關的其他專案
Chapter 20 企業應用案例
參考資料
作者介紹
趙必厦, 程麗明