SRE實(shí)踐手冊：軟件組織如何規(guī)?；瘜?shí)施站點(diǎn)可靠性工程

簡明目錄
Ⅰ   基礎(chǔ)知識
第1章  SRE概述 3
第2章  面臨的挑戰(zhàn) 18
第3章  SRE基本概念 36
第4章  評估現(xiàn)狀 54
Ⅱ   啟動(dòng)轉(zhuǎn)型
第5章  取得組織的認(rèn)同 75
第6章  奠定基礎(chǔ) 114
第7章  響應(yīng)SLO違反警報(bào) 151
第8章  警報(bào)分派 183
第9章  實(shí)現(xiàn)事故響應(yīng) 198
第10章  設(shè)置錯(cuò)誤預(yù)算策略 265
第11章  實(shí)現(xiàn)基于錯(cuò)誤預(yù)算的決策 284
第12章  實(shí)現(xiàn)組織結(jié)構(gòu) 340
Ⅲ  度量和維持轉(zhuǎn)型
第13章  度量SRE轉(zhuǎn)型 405
第14章  持續(xù)推進(jìn)SRE運(yùn)動(dòng) 411
第15章  未來之路 424
附錄  主題快速參考 430
 
 
詳細(xì)目錄
第Ⅰ部分  基礎(chǔ)知識
第1章　SRE概述 3
1.1  為什么要選擇SRE 3
1.1.1  ITIL 3
1.1.2  COBIT 4
1.1.3  建模 5
1.1.4  DevOps 5
1.1.5  關(guān)于SRE 6
1.1.6  比較不同的方法 7
1.2  使用SRE進(jìn)行協(xié)同 12
1.3  SRE為什么有用 15
1.4  小結(jié) 17
第2章  面臨的挑戰(zhàn) 18
2.1  種種不協(xié)同 18
2.2  集體所有權(quán) 20
2.3  SRE應(yīng)用場景下的所有權(quán) 21
2.3.1  產(chǎn)品開發(fā) 21
2.3.2  產(chǎn)品運(yùn)營 23
2.3.3  產(chǎn)品管理 27
2.3.4  效益和成本 30
2.4  挑戰(zhàn)聲明 32
2.5  教練 33
2.6  小結(jié) 35
第3章  SRE基本概念 36
3.1  服務(wù)水平指標(biāo) 36
3.2  服務(wù)水平目標(biāo) 37
3.3  錯(cuò)誤預(yù)算 39
3.3.1  可用性錯(cuò)誤預(yù)算的例子 40
3.3.2  錯(cuò)誤預(yù)算為零 41
3.3.3  延遲錯(cuò)誤預(yù)算的例子 43
3.4  錯(cuò)誤預(yù)算策略 44
3.5  SRE概念金字塔 46
3.6  使用SRE概念金字塔進(jìn)行協(xié)同 49
3.7  小結(jié) 53
第4章  評估現(xiàn)狀 54
4.1  組織現(xiàn)狀 54
4.1.1  組織結(jié)構(gòu)  54
4.1.2  組織協(xié)同  56
4.1.3  正式和非正式領(lǐng)導(dǎo)  57
4.2  人員現(xiàn)狀  58
4.3  技術(shù)現(xiàn)狀  59
4.4  文化現(xiàn)狀  63
4.4.1  是否高度合作  64
4.4.2  培訓(xùn)  64
4.4.3  是否共擔(dān)風(fēng)險(xiǎn)  65
4.4.4  是否鼓勵(lì)交流  65
4.4.5  失敗后是否可以追根溯源  65
4.4.6  是否接納新的想法  66
4.5  過程現(xiàn)狀  66
4.6  SRE成熟度模型  68
4.7  提出假設(shè)  70
4.8  小結(jié)  72
第Ⅱ部分  啟動(dòng)轉(zhuǎn)型
第5章  取得組織的認(rèn)同 75
5.1  取得組織內(nèi)部對SRE的認(rèn)同 75
5.2  SRE營銷漏斗 77
5.2.1  認(rèn)識SRE 78
5.2.2  興趣 79
5.2.3  理解 80
5.2.4  共識 80
5.2.5  參與 81
5.3  SRE教練 82
5.3.1  特質(zhì) 82
5.3.2  責(zé)任 83
5.4  自上而下認(rèn)同 84
5.4.1  利益相關(guān)者圖表 85
5.4.2  與開發(fā)主管接觸 87
5.4.3  與運(yùn)營主管接觸 92
5.4.4  和產(chǎn)品管理主管接觸 93
5.4.5  實(shí)現(xiàn)聯(lián)合認(rèn)同 95
5.4.6  讓SRE進(jìn)入項(xiàng)目組合 97
5.5  自下而上認(rèn)同 99
5.5.1  與運(yùn)營團(tuán)隊(duì)接觸 99
5.5.2  與開發(fā)團(tuán)隊(duì)接觸 100
5.6  橫向認(rèn)同 103
5.7  交錯(cuò)認(rèn)同 104
5.8  團(tuán)隊(duì)輔導(dǎo) 104
5.9  跨組織 106
5.9.1  組織的分組 106
5.9.2  組織穿越與SRE基礎(chǔ)設(shè)施需求 108
5.9.3  接觸各個(gè)團(tuán)隊(duì)的時(shí)機(jī) 108
5.10  組織輔導(dǎo) 111
5.11  小結(jié) 112
第6章  奠定基礎(chǔ) 114
6.1  團(tuán)隊(duì)導(dǎo)入對話 114
6.2  傳達(dá)基礎(chǔ)知識 115
6.2.1  SLO作為契約 115
6.2.2  SLO作為客戶滿意度的代理度量 116
6.2.3  用戶畫像 117
6.2.4  用戶故事地圖 119
6.2.5  對SLO被違反情況進(jìn)行修復(fù)的積極性 121
6.2.6  SLO和技術(shù)問題無關(guān) 123
6.2.7  SLO違反的原因 123
6.2.8  值班應(yīng)對違反SLO的情況 125
6.3  SLI標(biāo)準(zhǔn)化 125
6.3.1  應(yīng)用程序性能管理設(shè)施 127
6.3.2  可用性 128
6.3.3  延遲 129
6.3.4  優(yōu)先級排序 130
6.4  啟用日志記錄 132
6.5  日志查詢語言的培訓(xùn) 133
6.6  定義初始SLO 134
6.6.1  什么是好的SLO 135
6.6.2  SLO迭代過程 136
6.6.3  修訂SLO 139
6.7  默認(rèn)SLO 140
6.8  提供基本的基礎(chǔ)設(shè)施 141
6.8.1  儀表盤 142
6.8.2  警報(bào)內(nèi)容 143
6.9  與擁護(hù)者接觸 144
6.10  和反對者打交道 144
6.10.1  人們?yōu)槭裁磿?huì)反對 145
6.10.2  警報(bào)的問題 145
6.10.3 工具的問題 146
6.10.4  產(chǎn)品負(fù)責(zé)人的問題 147
6.10.5  團(tuán)隊(duì)激勵(lì)的問題 147
6.11  創(chuàng)建文檔 148
6.12  宣傳成功 148
6.13  小結(jié) 150
第7章  響應(yīng)SLO違反警報(bào) 151
7.1  環(huán)境選擇 151
7.2  責(zé)任 153
7.2.1  開發(fā)責(zé)任與運(yùn)營責(zé)任 153
7.2.2  運(yùn)營責(zé)任 154
7.2.3  劃分運(yùn)營責(zé)任 154
7.3  工作模式 156
7.3.1  基于中斷的工作模式 156
7.3.2  基于專注的工作模式 160
7.4  設(shè)置輪流值班 160
7.4.1  初始輪換周期 161
7.4.2  單人值班 161
7.4.3  雙人值班 162
7.4.4  三人值班 162
7.5  值班管理工具 163
7.5.1  發(fā)布SLO違反 163
7.5.2  排班 165
7.5.3  專業(yè)值班管理工具 165
7.6  非工作時(shí)間進(jìn)行值班 167
7.6.1  使用可用性目標(biāo)和產(chǎn)品需求 168
7.6.2  取舍 168
7.7  系統(tǒng)化的知識共享 170
7.7.1  知識共享需求 172
7.7.2  知識共享金字塔 173
7.7.3  值班培訓(xùn) 175
7.7.4  運(yùn)行手冊 176
7.7.5  內(nèi)部Stack Overflow工具 178
7.7.6  SRE實(shí)踐社區(qū) 179
7.8  宣傳成功 180
7.9  小結(jié) 182
第8章  警報(bào)分派 183
8.1  警報(bào)升級 184
8.2  定義警報(bào)升級策略 186
8.3  定義利益相關(guān)者分組 187
8.4  觸發(fā)利益相關(guān)者通知 189
8.5  定義利益相關(guān)者環(huán) 190
8.6  定義有效的利益相關(guān)者通知 193
8.7  允許利益相關(guān)者訂閱 195
8.7.1  使用值班管理工具訂閱 196
8.7.2  使用其他方式訂閱的可行性 196
8.8  宣傳成功 196
8.9  小結(jié) 197
第9章  實(shí)現(xiàn)事故響應(yīng) 198
9.1  事故響應(yīng)基礎(chǔ) 198
9.2  事故優(yōu)先級 199
9.2.1  SLO違反與事故 200
9.2.2  在事故期間更改事故優(yōu)先級 202
9.2.3  定義通用事故優(yōu)先級 203
9.2.4  將SLO映射到事故優(yōu)先級 205
9.2.5  將錯(cuò)誤預(yù)算映射到事故優(yōu)先級 207
9.2.6  將基于資源的警報(bào)映射到事故優(yōu)先級 208
9.2.7  發(fā)現(xiàn)事故優(yōu)先級的新用例 209
9.2.8  根據(jù)利益相關(guān)者的反饋來調(diào)整事故優(yōu)先級 210
9.2.9  擴(kuò)展SLO定義過程 211
9.2.10  基礎(chǔ)設(shè)施 212
9.2.11  消除重復(fù) 213
9.3  協(xié)調(diào)復(fù)雜事故 215
9.3.1  什么是復(fù)雜事故 215
9.3.2  現(xiàn)有的事故協(xié)調(diào)系統(tǒng) 216
9.3.3  事故分類 217
9.3.4  定義通用事故嚴(yán)重性 217
9.3.5  事故分類的社會(huì)維度 219
9.3.6  事故優(yōu)先級與事故嚴(yán)重性 220
9.3.7  定義角色 221
9.3.8  事故嚴(yán)重性分別對應(yīng)哪些角色 223
9.3.9  值班角色 223
9.3.10  事故響應(yīng)過程評估 224
9.3.11  事故響應(yīng)過程動(dòng)態(tài) 225
9.3.12  事故響應(yīng)團(tuán)隊(duì)的幸福感 228
9.4  事后回顧 232
9.5  有效事后回顧的標(biāo)準(zhǔn) 233
9.5.1  發(fā)起事后回顧 234
9.5.2  事后回顧的生命周期 235
9.5.3  事后回顧之前 236
9.5.4  事后回顧會(huì)議 238
9.5.5  事后回顧之后 244
9.5.6  分析事后回顧過程 245
9.5.7  事后回顧模板 250
9.5.8  促進(jìn)從事后回顧中學(xué)習(xí) 252
9.5.9  成功的事后回顧實(shí)踐 252
9.5.10  事后回顧實(shí)例 253
9.6  工具整合 254
9.6.1  與值班管理工具連接 254
9.6.2  其他工具之間的連接 256
9.6.3  移動(dòng)集成 257
9.6.4  示例工具搭配 258
9.7  服務(wù)狀態(tài)廣播 259
9.8  撰寫事故響應(yīng)過程文檔 261
9.9  宣傳成功 262
9.10  小結(jié) 263
第10章  設(shè)置錯(cuò)誤預(yù)算策略 265
10.1  動(dòng)機(jī) 265
10.2  術(shù)語 267
10.3  錯(cuò)誤預(yù)算策略的結(jié)構(gòu) 267
10.4  錯(cuò)誤預(yù)算策略的條件 269
10.5  錯(cuò)誤預(yù)算策略的后果 270
10.6  錯(cuò)誤預(yù)算策略治理體系 271
10.7  擴(kuò)展錯(cuò)誤預(yù)算策略 273
10.8  簽署錯(cuò)誤預(yù)算策略 277
10.9  存儲(chǔ)錯(cuò)誤預(yù)算策略 278
10.10  實(shí)行錯(cuò)誤預(yù)算策略 279
10.11  審查錯(cuò)誤預(yù)算策略 280
10.12  相關(guān)概念 281
10.13  小結(jié) 282
第11章  實(shí)現(xiàn)基于錯(cuò)誤預(yù)算的決策 284
11.1  可靠性決策的分類法 284
11.2  實(shí)現(xiàn)SRE指標(biāo) 287
11.2.1  SRE指標(biāo)的維度 287
11.2.2  “按服務(wù)劃分的SLO”指標(biāo) 288
11.2.3  “SLO遵守情況”指標(biāo) 289
11.2.4  “SLO錯(cuò)誤預(yù)算消耗”指標(biāo) 290
11.2.5  “SLO錯(cuò)誤預(yù)算過早耗盡”指標(biāo) 295
11.2.6  “按服務(wù)劃分的SLA”指標(biāo) 299
11.2.7  “SLA錯(cuò)誤預(yù)算消耗”指標(biāo) 300
11.2.8  “SLA遵守情況”指標(biāo) 303
11.2.9  “客戶支持工單趨勢”指標(biāo) 304
11.2.10  “團(tuán)隊(duì)輪流值班”指標(biāo) 308
11.2.11  “事故恢復(fù)時(shí)間趨勢”指標(biāo) 309
11.2.12  “最不可用服務(wù)端點(diǎn)”指標(biāo) 311
11.2.13  “最慢服務(wù)端點(diǎn)”指標(biāo) 312
11.3  過程指標(biāo)（而非人員的KPI） 313
11.4  決策與指標(biāo) 314
11.5  決策工作流 316
11.5.1  “使用API”決策工作流 316
11.5.2  “收緊依賴項(xiàng)的SLO”決策工作流 319
11.5.3  “功能與可靠性優(yōu)先級排序”工作流 321
11.5.4  “設(shè)置SLO”決策工作流 325
11.5.5  “設(shè)置SLA”決策工作流 329
11.5.6  “為團(tuán)隊(duì)分配SRE能力”決策工作流 331
11.5.7  “選擇混沌工程假設(shè)”工作流 334
11.6  小結(jié) 338
第12章  實(shí)現(xiàn)組織結(jié)構(gòu) 340
12.1  SRE原則與組織結(jié)構(gòu) 341
12.2  誰構(gòu)建，誰運(yùn)行 342
12.2.1  “誰構(gòu)建，誰運(yùn)行？”譜系 343
12.2.2  混合模式 344
12.2.3  改善可靠性的動(dòng)力 344
12.2.4  模式比較標(biāo)準(zhǔn) 347
12.2.5  模式比較 349
12.3 “你構(gòu)建，你運(yùn)行” 350
12.4 “你構(gòu)建，你和SRE運(yùn)行” 352
12.4.1  開發(fā)組織內(nèi)的SRE團(tuán)隊(duì) 352
12.4.2  運(yùn)營組織內(nèi)的SRE團(tuán)隊(duì) 354
12.4.3  專門的SRE組織內(nèi)部的SRE團(tuán)隊(duì) 355
12.4.4  對比 357
12.4.5  SRE團(tuán)隊(duì)的激勵(lì)、身份和自豪感 358
12.4.6  SRE團(tuán)隊(duì)的人數(shù)和預(yù)算 359
12.4.7  SRE團(tuán)隊(duì)成本核算 362
12.4.8  SRE團(tuán)隊(duì)KPI 363
12.5  你構(gòu)建，SRE運(yùn)行 365
12.5.1  開發(fā)組織內(nèi)的SRE團(tuán)隊(duì) 366
12.5.2  運(yùn)營組織內(nèi)的SRE團(tuán)隊(duì) 367
12.5.3  專門的SRE組織內(nèi)部的SRE團(tuán)隊(duì) 367
12.6  成本優(yōu)化 368
12.7  團(tuán)隊(duì)拓?fù)浣Y(jié)構(gòu) 370
12.7.1  報(bào)告線 371
12.7.2  SRE身份三角 372
12.7.3  合弄制：無報(bào)告線 374
12.8  選擇一個(gè)模式 375
12.8.1  模式轉(zhuǎn)換選項(xiàng) 375
12.8.2  決策維度 376
12.8.3  報(bào)告選項(xiàng) 378
12.8.4  SRE組織的定位 379
12.8.5  將價(jià)值傳達(dá)給管理層 381
12.9  一個(gè)新的角色：SRE 382
12.9.1  為什么需要一個(gè)新角色 382
12.9.2  角色定義 384
12.9.3  角色命名 387
12.9.4  角色分配 388
12.9.5  角色履行 390
12.10  SRE職業(yè)道路 391
12.10.1  SRE角色發(fā)展 392
12.10.2  SRE角色轉(zhuǎn)換 394
12.10.3  文化的重要性 395
12.11  就所選模式進(jìn)行溝通 396
12.12  導(dǎo)入所選的模式 397
12.12.1  組織變化 398
12.12.2  報(bào)告結(jié)構(gòu)的變化 400
12.12.3  角色變化 401
12.13  小結(jié) 401
第Ⅲ部分  度量和維持轉(zhuǎn)型
第13章  度量SRE轉(zhuǎn)型 405
13.1  測試轉(zhuǎn)型假設(shè) 405
13.2  內(nèi)部未檢測到的故障 406
13.3  過早耗盡錯(cuò)誤預(yù)算的服務(wù) 407
13.4  管理層的看法 408
13.5  用戶和合作伙伴對可靠性的看法 409
13.6  小結(jié) 410
第14章  持續(xù)推進(jìn)SRE運(yùn)動(dòng) 411
14.1  建立成熟的SRE CoP 411
14.2  SRE時(shí)間 411
14.3  可用性新聞簡報(bào) 412
14.4  工程博客中的SRE專欄 413
14.5  推廣SRE維基頁面長文 413
14.6  SRE的宣發(fā) 414
14.7  結(jié)合SRE和CD指標(biāo) 415
14.7.1  對比CD與SRE指標(biāo) 416
14.7.2  瓶頸分析 417
14.8  SRE反饋回路 418
14.9  新的假設(shè) 419
14.10  提供學(xué)習(xí)機(jī)會(huì) 420
14.11  為SRE教練提供支持 421
14.12  小結(jié) 423
第15章  未來之路 424
15.1  服務(wù)目錄 425
15.2  SLA 426
15.3  監(jiān)管合規(guī) 426
15.4  SRE基礎(chǔ)設(shè)施 427
15.5  游戲日 428
附錄  主題快速參考 430