Apache Pulsar原理解析與應(yīng)用實(shí)踐

前　言
基礎(chǔ)篇
第1章　Pulsar概述　　2
1.1　Pulsar是什么　　2
1.2　Pulsar的優(yōu)勢　　3
1.2.1　Pulsar不只是消息隊(duì)列　　4
1.2.2　存儲與計(jì)算分離　　4
1.2.3　云原生架構(gòu)　　5
1.2.4　Pulsar的存儲特性　　6
1.2.5　消息傳輸協(xié)議　　8
1.2.6　消費(fèi)方式　　8
1.2.7　豐富的功能與生態(tài)　　9
1.3　消息隊(duì)列對比　　9
1.3.1　消息隊(duì)列簡介　　10
1.3.2　性能與可靠性　　11
1.3.3　功能特性對比　　14
1.4　快速體驗(yàn)　　17
1.4.1　下載安裝　　17
1.4.2　單機(jī)服務(wù)啟動(dòng)　　17
1.4.3　生產(chǎn)與消費(fèi)　　18
第2章　Pulsar的基本概念和架構(gòu)
詳解　　20
2.1　Pulsar的基本概念　　20
2.1.1　多租戶與命名空間　　20
2.1.2　主題　　21
2.1.3　生產(chǎn)者　　22
2.1.4　消費(fèi)者與訂閱　　24
2.1.5　消息的保留與過期　　27
2.2　Pulsar的邏輯架構(gòu)　　28
2.2.1　主題的配置管理　　29
2.2.2　主題的數(shù)據(jù)流轉(zhuǎn)　　30
2.2.3　主題的數(shù)據(jù)存儲　　31
2.3　Pulsar物理架構(gòu)　　32
2.3.1　物理架構(gòu)概述　　32
2.3.2　核心組件與服務(wù)　　35
第3章　Pulsar安裝與部署　　39
3.1　依賴環(huán)境　　39
3.1.1　安裝Java　　39
3.1.2　Pulsar安裝包　　40
3.2　分布式部署　　42
3.2.1　資源分配規(guī)劃　　42
3.2.2　集群搭建實(shí)戰(zhàn)　　44
3.3　Docker部署　　47
3.3.1　Docker單機(jī)部署　　47
3.3.2　Docker分布式部署　　48
3.4　Kubernetes部署　　48
3.4.1　minikube環(huán)境安裝　　48
3.4.2　Helm Chart安裝　　49
3.4.3　在Kubernetes中使用
Pulsar　　51
3.5　源碼的結(jié)構(gòu)與編譯　　52
3.5.1　源碼結(jié)構(gòu)　　52
3.5.2　源碼編譯　　52
第4章　Pulsar的基本操作　　54
4.1　生產(chǎn)者開發(fā)　　54
4.1.1　生產(chǎn)者概覽　　54
4.1.2　構(gòu)建客戶端對象　　56
4.1.3　構(gòu)建生產(chǎn)者　　58
4.1.4　數(shù)據(jù)發(fā)送路由規(guī)則　　60
4.1.5　分批發(fā)送　　63
4.1.6　分塊發(fā)送　　64
4.1.7　生產(chǎn)者攔截器　　64
4.2　消費(fèi)者開發(fā)　　65
4.2.1　構(gòu)建消費(fèi)者　　65
4.2.2　數(shù)據(jù)確認(rèn)　　68
4.2.3　消費(fèi)者攔截器　　72
4.2.4　消費(fèi)者監(jiān)聽器　　72
4.3　Reader開發(fā)　　73
4.4　模式管理　　74
4.4.1　模式類型　　75
4.4.2　自動(dòng)模式　　78
4.4.3　模式管理　　79
原理篇
第5章　Pulsar核心組件原理　　84
5.1　Broker原理　　84
5.1.1　通信協(xié)議層　　84
5.1.2　主題查找服務(wù)　　89
5.1.3　租戶與命名空間管理　　90
5.1.4　負(fù)載管理　　92
5.2　BookKeeper原理　　94
5.2.1　BookKeeper簡介　　94
5.2.2　BookKeeper的使用　　100
5.3　ManagedLedger組件　　100
5.3.1　ManagedLedger簡介　　101
5.3.2　消息積壓的配額管理　　102
5.3.3　消息的保留與清理　　103
5.3.4　消息的寫入　　104
5.3.5　消息的緩存與讀取　　104
5.4　主題管理　　105
5.4.1　Pulsar主題管理架構(gòu)　　106
5.4.2　生產(chǎn)者原理　　108
5.4.3　訂閱與消費(fèi)者原理　　110
5.4.4　消息生存時(shí)間與持久化
控制　　114
第6章　Pulsar高級特性　　115
6.1　Pulsar事務(wù)　　115
6.1.1　消息隊(duì)列事務(wù)隔離級別　　116
6.1.2　Pulsar事務(wù)簡介　　117
6.1.3　Pulsar事務(wù)的使用方法　　118
6.1.4　Pulsar事務(wù)實(shí)現(xiàn)原理及關(guān)鍵
流程　　119
6.2　消息隊(duì)列協(xié)議層　　122
6.2.1　協(xié)議處理器　　122
6.2.2　Pulsar上的Kafka簡介　　125
6.2.3　Pulsar上的Kafka使用　　126
6.2.4　Pulsar上的Kafka工作
原理　　128
6.3　分層存儲　　130
6.3.1　分層存儲的設(shè)計(jì)　　130
6.3.2　分層存儲的使用　　131
6.3.3　分層存儲的原理　　133
6.4　消息延遲傳遞　　133
6.5　主題壓縮　　134
6.5.1　主題壓縮應(yīng)用　　135
6.5.2　主題壓縮原理　　135
第7章　Pulsar Function與
Pulsar I/O　　137
7.1　Pulsar Function簡介　　137
7.1.1　Pulsar Function編程模型　　137
7.1.2　Pulsar Function邏輯結(jié)構(gòu)與
應(yīng)用場景　　140
7.2　Pulsar Function應(yīng)用實(shí)踐　　141
7.2.1　Pulsar Function的部署與
使用　　141
7.2.2　自定義Pulsar Function
開發(fā)　　146
7.2.3　Pulsar Function語義支持　　148
7.3　Pulsar Function原理　　150
7.3.1　Pulsar Function運(yùn)行流程　　150
7.3.2　Function Worker組件工作
原理　　152
7.3.3　Pulsar運(yùn)行時(shí)　　153
7.4　Pulsar I/O　　154
7.4.1　Pulsar I/O概述　　154
7.4.2　使用內(nèi)置的P