Kafka 並不難學!入門、進階、商業實戰
內容描述
本書基於Kafka 0.10.2.0以上版本,採用“理論+實踐”的形式編寫。全書共68個實例。全書共分為4篇:第1篇,介紹了消息隊列和Kafka、安裝與配置Kafka環境;第2篇,介紹了Kafka的基礎操作、生產者和消費者、存儲及管理數據;第3篇,介紹了更高級的Kafka知識及應用,包括安全機制、連接器、流處理、監控與測試;第4篇,是對前面知識的綜合及實際應用,包括ELK套件整合實戰、Spark實時計算引擎整合實戰、Kafka Eagle監控系統設計與實現實戰。本書的每章都配有同步教學視頻。視頻和圖書具有相同的結構,能幫助讀者快速而全面地瞭解每章的內容。本書還免費提供所有案例的源代碼。這些代碼不僅能方便讀者學習,也能為以後的工作提供便利。本書結構清晰、案例豐富、通俗易懂、實用性強。特別適合Kafka系統的初學者和進階讀者作為自學教程。另外,本書也適合社會培訓學校作為培訓教材,還適合大中專院校的相關專業作為教學參考書。
目錄大綱
第1篇準備
第1章了解消息隊列和Kafka 2
1.1 本章教學視頻說明 2
1.2 消息隊列 2
1.3 為什麼需要Kafka 6
1.4 Kafka的基本概念 7
1.5 了解Kafka的工作機制——生產消息/消費消息 9
1.6 Kafka的使用範圍10
1.7 小結14
第2章安裝及配置Kafka 15
2.1 本章教學視頻說明15
2.2 安裝與配置基礎環境16
2.3 實例4:部署Kafka 27
2.4 實例5:安裝與配置Kafka監控工具32
2.5 實例6:編譯Kafka源代碼37
2.6 實例7:將Kafka源代碼導入編輯器42
2.7 了解元數據的存儲分佈46
2.8 了解控制器的選舉流程48
2.9 小結66
——第2篇入門
第3章Kafka的基本操作68
3.1 本章教學視頻說明68
3.2 操作Zookeeper集群68
3.3 操作Kafka集群77
3.4 管理主題85
3.5 管理分區與副本95
3.6 小結99
第4章將消息數據寫入Kafka系統——生產100
4.1 本章教學視頻說明100
4.2 了解Kafka生產者101
4.3 使用腳本操作生產者101
4.4 發送消息到Kafka主題104
4.5 配置生產者的屬性112
4.6 保存對象的各個屬性——序列化115
4.7 自定義主題分區122
4.8 小結125
第5章從Kafka系統中讀取消息數據——消費126
5.1 本章教學視頻說明126
5.2 了解Kafka消費者126
5.3 使用Kafka系統的腳本操作消費者130
5.4 消費Kafka集群中的主題消息136
5.5 配置消費者的屬性150
5.6 小結151
第6章存儲及管理數據152
6.1 本章教學視頻說明152
6.2 分區存儲數據152
6.3 清理過期數據的兩種方法155
6.4 網絡模型和通信流程156
6.5 小結159
——第3篇進階
第7章Kafka安全機制162
7.1 本章教學視頻說明162
7.2 了解Kafka的安全機制162
7.3 使用SSL協議進行加密和身份驗證164
7.4 使用SASL協議進行認證176
7.5 權限控制187
7.6 小結195
第8章用Kafka連接器建立數據管道196
8.1 本章教學視頻說明196
8.2 認識Kafka連接器196
8.3.1 配置Kafka連接器的屬性199
8.4 實例50:開發一個簡易的Kafka連接器插件210
8.5 小結225
第9章Kafka流處理226
9.1 本章教學視頻說明226
9.2 初識Kafka流處理227
9.3 了解流處理的架構229
9.4 操作KStream和KTable 235
9.5 實例51:利用流處理開發一個單詞統計程序248
9.6 實例52:利用Kafka流開發一個SQL引擎251
9.7 小結256
第10章監控與測試257
10.1 本章教學視頻說明257
10.2 Kafka的監控工具——Kafka Eagle系統258
10.3 測試生產者性能264
10.4 測試消費者性能275
10.5 小結280
——第4篇商業實戰
第11章Kafka與ELK套件的整合282
11.1 本章教學視頻說明282
11.2 安裝與配置ELK 283
11.3 實例63:實現一個遊戲日誌實時分析系統299
11.4 小結308
第12章Kafka與Spark實時計算引擎的整合309
12.1 本章教學視頻說明309
12.2 介紹Spark背景310
12.3 準備Spark環境311
12.4 操作Spark 315
12.5 實例67:對遊戲明細數據做實時統計322
12.6 小結333
第13章實例68:從零開始設計一個Kafka監控系統——Kafka Eagle 334
13.1 本章教學視頻說明334
13.2 了解Kafka Eagle監控系統335
13.3 從結構上了解Kafka Eagle 337
13.4 實現Kafka Eagle的功能模塊347
13.5 安裝及使用Kafka Eagle監控系統353
13.6 小結358
作者介紹
鄧傑
資深大數據全棧開發者,極客學院講師,開源愛好者,博客園博主。
開發了Kafka系統監控管理工具——Kafka Eagle,將其發佈在Github上,深受業界開發者讚譽。
作為極客學院特邀講師期間,製作了多個技術視頻,講授Hadoop技術、Kafka技術等課程,廣受學員好評。