科技巨頭神器下放民間:流式處理唯一選擇 Kafka

科技巨頭神器下放民間:流式處理唯一選擇 Kafka

作者: 朱忠華
出版社: 深智數位
出版在: 2019-09-15
ISBN-13: 9789869807227
ISBN-10: 9869807224
總頁數: 600 頁





內容描述


本書特色
◎認識Kafka的基本概念
◎從生產端、消費端、服務端說明
◎擴展至進階應用與Spark整合
內容簡介
本書從Kafka的基本概念入手,主要從生產端、消費端、服務端等3個方
面進行全面的陳述,主要內容包括Kafka的基本使用方式、生產者用戶端
的使用、消費者用戶端的使用、主題與分區、記錄檔儲存、深入原理解析
、監控的設計、高級應用的擴展以及與Spark的整合等。
Kafka的核心使用Scala語言編寫,但是本書基本以Java語言作為主要的
示例語言,方便絕大多數讀者的理解。
本書雖然沒有明確的界定,但是總體上可以劃分為三個部分:基礎篇、原
理篇和擴展篇,以循序漸進的方式讓讀者容易接受。
本書主要內容:
■ 初識Kafka
■ 生產者
■ 消費者
■ 主題與分區
■ 記錄檔儲存
■ 深入服務端
■ 深入用戶端
■ 可用性深入
■ Kafka 應用
■ Kafka 監控
■ 進階應用
■ Kafka 與Spark 的整合
■ Kafka 原始程式環境架設
適合讀者群:本書將實作與原理相結合,既適合Kafka 初學者,也
適合對Kafka 有一定深度認識的讀者。


目錄大綱


01 初識Kafka
1.1 基本概念 .
1.2 安裝與設定
1.3 生產與消費
1.4 服務端參數設定
1.5 歸納
02 生產者
2.1 用戶端開發
2.2 原理分析
2.3 重要的生產者參數
2.4 歸納
03 消費者
3.1 消費者與消費組
3.2 用戶端開發
3.3 歸納
04 主題與分區
4.1 主題的管理
4.2 初識KafkaAdminClient
4.3 分區的管理
4.4 如何選擇合適的分區數
4.5 歸納
05 記錄檔儲存
5.1 檔案目錄版面設定
5.2 記錄檔格式的演變
5.3 記錄檔索引
5.4 記錄檔清理
5.5 磁碟儲存
5.6 歸納
06 深入服務端
6.1 協定設計
6.2 時間輪
6.3 延遲時間操作
6.4 控制器
6.5 參數解密
6.6 歸納
07 深入用戶端
7.1 分區分配策略
7.2 消費者協調器和組協調器
7.3 __consumer_offsets 剖析
7.4 交易
7.5 歸納
08 可用性深入
8.1 備份剖析
8.2 記錄檔同步機制
8.3 可用性分析
8.4 歸納
09 Kafka 應用
9.1 命令列工具
9.2 Kafka Connect
9.3 Kafka Mirror Maker
9.4 Kafka Streams
9.5 歸納
10 Kafka 監控
10.1 監控資料的來源
10.2 消費落後
10.3 同步故障分區
10.4 監控指標說明
10.5 監控模組
10.6 歸納 .
11 進階應用
11.1 過期時間(TTL)
11.2 延遲時間佇列
11.3 無效信件佇列和重試佇列
11.4 訊息路由
11.5 訊息軌跡
11.6 訊息稽核
11.7 訊息代理
11.8 訊息中介軟體選型
11.9 歸納
12 Kafka 與Spark 的整合
12.1 Spark 的安裝及簡單應用
12.2 Spark 程式設計模型
12.3 Spark 的執行結構
12.4 Spark Streaming 簡介
12.5 Kafka 與Spark Streaming 的整合
12.6 Spark SQL
12.7 Structured Streaming
12.8 Kafka 與Structured Streaming 的整合
12.9 歸納
A Kafka 原始程式環境架設令列參數


作者介紹


朱忠華
目前主要從事中介軟體相關的研發工作,對RabbitMQ、Kafka等都有獨
特的見解。個人部落格:http://blog.csdn.net/u013256816,歡迎讀
者留言切磋探討。




相關書籍

Hadoop 構建數據倉庫實踐 (Practice of Hadoop data warehouse)

作者 王雪迎

2019-09-15

大數據時代的致勝決策:2020年前最重要的6個關鍵策略(Data Crush: How the Information Tidal Wave is Driving New Business Opportunities)

作者 克里斯多夫.蘇達克(Christopher Surdak) 林奕伶 廖育琳 譯

2019-09-15

圖說演算法 -- 使用 JavaScript

作者 吳燦銘 胡昭民

2019-09-15