可伸縮服務架構：框架與中間件

第1章 如何設計一款永不重復的高性能分布式發(fā)號器 1
1.1 可選方案及技術選型 2
1.1.1 為什么不用UUID 2
1.1.2 基于數(shù)據(jù)庫的實現(xiàn)方案 2
1.1.3 Snowflake開源項目 3
1.1.4 小結 4
1.2 分布式系統(tǒng)對發(fā)號器的基本需求 4
1.3 架構設計與核心要點 6
1.3.1 發(fā)布模式 6
1.3.2 ID類型 7
1.3.3 數(shù)據(jù)結構 7
1.3.4 并發(fā) 9
1.3.5 機器ID的分配 9
1.3.6 時間同步 10
1.3.7 設計驗證 11
1.4 如何根據(jù)設計實現(xiàn)多場景的發(fā)號器 11
1.4.1 項目結構 12
1.4.2 服務接口的定義 14
1.4.3 服務接口的實現(xiàn) 15
1.4.4 ID元數(shù)據(jù)與長整型ID的互相轉換 22
1.4.5 時間操作 25
1.4.6 機器ID的生成 27
1.4.7 小結 32
1.5 如何保證性能需求 32
1.5.1 嵌入發(fā)布模式的壓測結果 33
1.5.2 中心服務器發(fā)布模式的壓測結果 33
1.5.3 REST發(fā)布模式（Netty實現(xiàn)）的壓測結果 33
1.5.4 REST發(fā)布模式（Spring Boot + Tomcat實現(xiàn)）的壓測結果 34
1.5.5 性能測試總結 34
1.6 如何讓用戶快速使用 35
1.6.1 REST發(fā)布模式的使用指南 35
1.6.2 服務化模式的使用指南 38
1.6.3 嵌入發(fā)布模式的使用指南 41
1.7 為用戶提供API文檔 43
1.7.1 RESTful API文檔 44
1.7.2 Java API文檔 45
第2章 可靈活擴展的消息隊列框架的設計與實現(xiàn) 49
2.1 背景介紹 50
2.2 項目目標 50
2.2.1 簡單易用 50
2.2.2 高性能 51
2.2.3 高穩(wěn)定性 51
2.3 架構難點 51
2.3.1 線程模型 51
2.3.2 異常處理 53
2.3.3 優(yōu)雅關機 53
2.4 設計與實現(xiàn) 54
2.4.1 項目結構 54
2.4.2 項目包的規(guī)劃 55
2.4.3 生產(chǎn)者的設計與實現(xiàn) 57
2.4.4 消費者的設計與實現(xiàn) 58
2.4.5 啟動模塊的設計與實現(xiàn) 67
2.4.6 消息處理器的體系結構 76
2.4.7 反射機制 79
2.4.8 模板項目的設計 80
2.5 使用指南 82
2.5.1 安裝步驟 82
2.5.2 Java API 83
2.5.3 與Spring環(huán)境集成 84
2.5.4 對服務源碼進行注解 85
2.6 API簡介 87
2.6.1 Producer API 87
2.6.2 Consumer API 88
2.6.3 消息處理器 88
2.6.4 消息處理器定義的注解 90
2.7 消息處理機模板項目 91
2.7.1 快速開發(fā)向導 91
2.7.2 后臺監(jiān)控和管理 92
第3章 輕量級的數(shù)據(jù)庫分庫分表架構與框架 93
3.1 什么是分庫分表 94
3.1.1 使用數(shù)據(jù)庫的三個階段 94
3.1.2 在什么情況下需要分庫分表 95
3.1.3 分庫分表的典型實例 96
3.2 三種分而治之的解決方案 97
3.2.1 客戶端分片 97
3.2.2 代理分片 100
3.2.3 支持事務的分布式數(shù)據(jù)庫 101
3.3 分庫分表的架構設計 102
3.3.1 整體的切分方式 102
3.3.2 水平切分方式的路由過程和分片維度 106
3.3.3 分片后的事務處理機制 107
3.3.4 讀寫分離 119
3.3.5 分庫分表引起的問題 119
3.4 流行代理分片框架Mycat的初體驗 123
3.4.1 安裝Mycat 123
3.4.2 配置Mycat 124
3.4.3 配置數(shù)據(jù)庫節(jié)點 128
3.4.4 數(shù)據(jù)遷移 129
3.4.5 Mycat支持的分片規(guī)則 129
3.5 流行的客戶端分片框架Sharding JDBC的初體驗 138
3.5.1 Sharding JDBC簡介 138
3.5.2 Sharding JDBC的功能 139
3.5.3 Sharding JDBC的使用 141
3.5.4 Sharding JDBC的使用限制 152
3.6 自研客戶端分片框架dbsplit的設計、實現(xiàn)與使用 153
3.6.1 項目結構 154
3.6.2 包結構和執(zhí)行流程 155
3.6.3 切片下標命名策略 159
3.6.4 SQL解析和組裝 167
3.6.5 SQL實用程序 168
3.6.6 反射實用程序 173
3.6.7 分片規(guī)則的配置 177
3.6.8 支持分片的SplitJdbcTemplate和SimpleSplitJdbcTemplate接口API 179
3.6.9 JdbcTemplate的擴展SimpleJdbcTemplate接口API 184
3.6.10 用于創(chuàng)建分庫分表數(shù)據(jù)庫的腳本工具 187
3.6.11 使用dbsplit的一個簡單示例 192
3.6.12 使用dbsplit的線上真實示例展示 199
第4章 緩存的本質和緩存使用的優(yōu)秀實踐 201
4.1 使用緩存的目的和問題 202
4.2 自相似，CPU的緩存和系統(tǒng)架構的緩存 203
4.2.1 CPU緩存的架構及性能 205
4.2.2 CPU緩存的運行過程分析 206
4.2.3 緩存行與偽共享 208
4.2.4 從CPU的體系架構到分布式的緩存架構 218
4.3 常用的分布式緩存解決方案 221
4.3.1 常用的分布式緩存的對比 221
4.3.2 Redis初體驗 225
4.4 分布式緩存的通用方法 229
4.4.1 緩存編程的具體方法 229
4.4.2 應用層訪問緩存的模式 233
4.4.3 分布式緩存分片的三種模式 235
4.4.4 分布式緩存的遷移方案 238
4.4.5 緩存穿透、緩存并發(fā)和緩存雪崩 244
4.4.6 緩存對事務的支持 246
4.5 分布式緩存的設計與案例 248
4.5.1 緩存設計的核心要素 248
4.5.2 緩存設計的優(yōu)秀實踐 250
4.5.3 關于常見的緩存線上問題的案例 253
4.6 客戶端緩存分片框架redic的設計與實現(xiàn) 257
4.6.1 什么時候需要redic 258
4.6.2 如何使用redic 258
4.6.3 更多的配置 258
4.6.4 項目結構 260
4.6.5 包結構 261
4.6.6 設計與實現(xiàn)的過程 261
第5章 大數(shù)據(jù)利器之Elasticsearch 268
5.1 Lucene簡介 269
5.1.1 核心模塊 269
5.1.2 核心術語 270
5.1.3 檢索方式 271
5.1.4 分段存儲 273
5.1.5 段合并策略 275
5.1.6 Lucene相似度打分 278
5.2 Elasticsearch簡介 286
5.2.1 核心概念 286
5.2.2 3C和腦裂 289
5.2.3 事務日志 291
5.2.4 在集群中寫索引 294
5.2.5 集群中的查詢流程 295
5.3 Elasticsearch實戰(zhàn) 298
5.3.1 Elasticsearch的配置說明 298
5.3.2 常用的接口 300
5.4 性能調(diào)優(yōu) 305
5.4.1 寫優(yōu)化 305
5.4.2 讀優(yōu)化 308
5.4.3 堆大小的設置 313
5.4.4 服務器配置的選擇 315
5.4.5 硬盤的選擇和設置 316
5.4.6 接入方式 318
5.4.7 角色隔離和腦裂 319
第6章 全面揭秘分布式定時任務 321
6.1 什么是定時任務 322
6.2 分布式定時任務 341
6.2.1 定時任務的使用場景 342
6.2.2 傳統(tǒng)定時任務存在的問題 342
6.2.3 分布式定時任務及其原理 344
6.3 開源分布式定時任務的用法 347
6.3.1 Quartz的分布式模式 347
6.3.2 TBSchedule 356
6.3.3 Elastic-Job 365
第7章 RPC服務的發(fā)展歷程和對比分析 377
7.1 什么是RPC服務 378
7.2 RPC服務的原理 379
7.2.1 Sokcet套接字 379
7.2.2 RPC的調(diào)用過程 380
7.3 在程序中使用RPC服務 382
7.4 RPC服務的發(fā)展歷程 383
7.4.1 第一代RPC：以ONC RPC和DCE RPC為代表的函數(shù)式RPC 384
7.4.2 第二代RPC：支持面對象的編程 388
7.4.3 第三代RPC：SOA和微服務 398
7.4.4 架構的演進 402
7.5 主流的RPC框架 403
7.5.1 Thrift 403
7.5.2 ZeroC Ice 410
7.5.3 gRPC 418
7.5.4 Dubbo 430
第8章 Dubbo實戰(zhàn)及源碼分析 436
8.1 Dubbo的四種配置方式 437
8.1.1 XML配置 437
8.1.2 屬性配置 440
8.1.3 API配置 441
8.1.4 注解配置 443
8.2 服務的注冊與發(fā)現(xiàn) 446
8.2.1 注冊中心 446
8.2.2 服務暴露 449
8.2.3 引用服務 451
8.3 Dubbo通信協(xié)議及序列化探討 455
8.3.1 Dubbo支持的協(xié)議 455
8.3.2 協(xié)議的配置方法 456
8.3.3 多協(xié)議暴露服務 457
8.3.4 Dubbo協(xié)議的使用注意事項 458
8.3.5 Dubbo協(xié)議的約束 459
8.4 Dubbo中高效的I/O線程模型 459
8.4.1 對Dubbo中I/O模型的分析 459
8.4.2 Dubbo中線程配置的相關參數(shù) 460
8.4.3 在Dubbo線程方面踩過的坑 461
8.4.4 對Dubbo中線程使用的建議 462
8.5 集群的容錯機制與負載均衡 462
8.5.1 集群容錯機制的原理 462
8.5.2 集群容錯模式的配置方法 464
8.5.3 六種集群容錯模式 464
8.5.4 集群的負載均衡 465
8.6 監(jiān)控和運維實踐 467
8.6.1 日志適配 467
8.6.2 監(jiān)控管理后臺 467
8.6.3 服務降級 473
8.6.4 優(yōu)雅停機 475
8.6.5 灰度發(fā)布 475
8.7 Dubbo項目線上案例解析 477
8.7.1 線上問題的通用解決方案 477
8.7.2 耗時服務耗盡了線程池的案例 480
8.7.3 容錯重試機制引發(fā)服務雪崩的案例 481
8.8 深入剖析Dubbo源碼及其實現(xiàn) 483
8.8.1 Dubbo的總體架構設計 483
8.8.2 配置文件 486
8.8.3 Dubbo的核心RPC 488
8.8.4 Dubbo巧妙的URL總線設計 491
8.8.5 Dubbo的擴展點加載SPI 492
8.8.6 Dubbo服務暴露的過程 493
8.8.7 服務引用 502
8.8.8 集群容錯和負載均衡 503
8.8.9 集群容錯 504
8.8.10 負載均衡 509
第9章 高性能網(wǎng)絡中間件 512
9.1 TCP/UDP的核心原理及本質探索 513
9.1.1 網(wǎng)絡模型 513
9.1.2 UDP、IP及其未解決的問題 515
9.1.3 TCP詳解 519
9.1.4 是否可以用UDP代替TCP 527
9.1.5 網(wǎng)絡通信的不可靠性討論 529
9.2 網(wǎng)絡測試優(yōu)秀實踐 530
9.2.1 網(wǎng)絡測試的關鍵點 530
9.2.2 那些必不可少的網(wǎng)絡測試工具 532
9.2.3 典型的測試報告 539
9.3 高性能網(wǎng)絡框架的設計與實現(xiàn) 544
9.3.1 對代理功能的測試及分析 545
9.3.2 網(wǎng)絡中間件的使用介紹 549
9.3.3 內(nèi)存和緩存的優(yōu)化 551
9.3.4 快速解析流數(shù)據(jù) 554