123,123

內(nèi)容簡(jiǎn)介

　　本書以 Kafka 0.10.0 版本源碼為基礎(chǔ)，針對(duì) Kafka的架構(gòu)設(shè)計(jì)到實(shí)現(xiàn)細(xì)節(jié)進(jìn)行詳細(xì)闡述。本書共5 章，從 Kafka 的應(yīng)用場(chǎng)景、源碼環(huán)境搭建開始逐步深入，對(duì) Kafka 的核心概念進(jìn)行分析介紹，對(duì) Kafka 生產(chǎn)者、消費(fèi)者、服務(wù)端的源碼進(jìn)行深入的剖析，最后介紹 Kafka 常用的管理腳本實(shí)現(xiàn)，讓讀者不僅從宏觀設(shè)計(jì)上了解 Kafka，而且能夠深入到 Kafka 的細(xì)節(jié)設(shè)計(jì)之中。在源碼分析的過程中，還穿插了筆者工作積累的經(jīng)驗(yàn)分析和對(duì) Kafka 設(shè)計(jì)的理解，希望能夠讓讀者可以舉一反三，不僅知其然，而且知其所以然。本書旨在為讀者閱讀 Kafka 源碼提供幫助和指導(dǎo)，讓讀者更加深入地了解 Kafka 的運(yùn)行原理、設(shè)計(jì)理念，讓讀者在設(shè)計(jì)分布式系統(tǒng)時(shí)可以參考 Kafka 的優(yōu)秀設(shè)計(jì)。本書的內(nèi)容對(duì)于讀者全面提升自己的技術(shù)能力有很大幫助。

作者簡(jiǎn)介

　　徐郡明，武漢大學(xué)碩士，目前就職于航天科技集團(tuán)旗下某研究所，主要負(fù)責(zé)政企云平臺(tái)基礎(chǔ)架構(gòu)的設(shè)計(jì)和研發(fā)工作，有多年Kafka應(yīng)用和設(shè)計(jì)經(jīng)驗(yàn)。長(zhǎng)期關(guān)注大數(shù)據(jù)處理相關(guān)技術(shù)以及Kafka的發(fā)展。

圖書目錄

目?錄
第1章　快速入門
1．1　Kafka簡(jiǎn)介
1．2　以Kafka為中心的解決方案
1．3　Kafka核心概念
1．4　搭建Kafka源碼環(huán)境
本章小結(jié)
第2章　生產(chǎn)者
2．1　 KafkaProducer使用示例
2．2　KafkaProducer分析
2．2．1　ProducerInterceptors＆ProducerInterceptor
2．2．2　Kafka集群元數(shù)據(jù)
2．2．3　Serializer＆Deserializer
2．2．4　Partitioner
2．3　RecordAccumulator分析
2．3．1　MemoryRecords
2．3．2　RecordBatch
2．3．3　BufferPool
2．3．4　RecordAccumulator
2．4　Sender分析
2．4．1　創(chuàng)建請(qǐng)求
2．4．2　KSelector
2．4．3　InFlightRequests
2．4．4　MetadataUpdater
2．4．5　NetworkClient
本章小結(jié)
第3章　消費(fèi)者
3．1　KafkaConsumer使用示例
3．2　傳遞保證語義（Delivery guarantee semantic）
3．3　Consumer Group Rebalance設(shè)計(jì)
3．4　KafkaConsumer分析
3．4．1　ConsumerNetworkClient
3．4．2　SubscriptionState
3．4．3　ConsumerCoordinator
3．4．4　PartitionAssignor分析
3．4．5　Heartbeat分析
3．4．6　Rebalance實(shí)現(xiàn)
3．4．7　offset操作
3．4．8　Fetcher
3．4．9　KafkaConsumer分析總結(jié)
本章小結(jié)
第4章　Kafka服務(wù)端
4．1　網(wǎng)絡(luò)層
4．1．1　Reactor模式
4．1．2　SocketServer
4．1．3　AbstractServerThread
4．1．4　Acceptor
4．1．5　Processor
4．1．6　RequestChannel
4．2　API層
4．2．1　KafkaRequestHandler
4．2．2　KafkaApis
4．3　日志存儲(chǔ)
4．3．1　基本概念
4．3．2　FileMessageSet
4．3．3　ByteBufferMessageSet
4．3．4　OffsetIndex
4．3．5　LogSegment
4．3．6　Log
4．3．7　LogManager
4．4　DelayedOperationPurgatory組件
4．4．1　TimingWheel
4．4．2　SystemTimer
4．4．3　DelayedOperation
4．4．4　DelayedOperationPurgatory
4．4．5　DelayedProduce
4．4．6　DelayedFetch
4．5　副本機(jī)制
4．5．1　副本
4．5．2　分區(qū)
4．5．3　ReplicaManager
4．6　KafkaController
4．6．1　ControllerChannelManager
4．6．2　ControllerContext
4．6．3　ControllerBrokerRequestBatch
4．6．4　PartitionStateMachine
4．6．5　PartitionLeaderSelector
4．6．6　ReplicaStateMachine
4．6．7　ZooKeeper Listener
4．6．8　KafkaController初始化與故障轉(zhuǎn)移
4．6．9　處理ControlledShutdownRequest
4．7　GroupCoordinator
4．7．1　GroupMetadataManager
4．7．2　GroupCoordinator分析
4．8　身份認(rèn)證與權(quán)限控制
4．8．1　配置SASL/PLAIN認(rèn)證
4．8．2　身份認(rèn)證
4．8．3　權(quán)限控制
4．9　Kafka監(jiān)控
4．9．1　JMX簡(jiǎn)介
4．9．2　Metrics簡(jiǎn)介
4．9．3　Kafka中的Metrics
4．9．4　Kafka的監(jiān)控功能
4．9．5　監(jiān)控KSelector的指標(biāo)
第5章　Kafka Tool
5．1　kafka-server-start腳本
5．2　kafka-topics腳本
5．2．1　創(chuàng)建Topic
5．2．2　修改Topic
5．3　kafka-preferred-replica-election腳本
5．4　kafka-reassign-partitions腳本
5．5　kafka-console-producer腳本
5．6　kafka-console-consumer腳本
5．7　kafka-consumer-groups腳本
5．8　DumpLogSegments
5．9　kafka-producer-perf-test腳本
5．10　kafka-consumer-perf-test腳本
5．11　kafka-mirror-maker腳本
本章小結(jié)