現(xiàn)代軟件測試技術權威指南

目    錄
第1章  現(xiàn)代軟件測試的工程理念··· 1
1.1  軟件的可測試性·· 1
1.1.1  可測試性的定義·· 1
1.1.2  可測試性引發(fā)的問題    2
1.1.3  可測試性的三個核心觀點    4
1.1.4  可測試性的四個維度    5
1.1.5  不同級別的可測試性與工程實踐·· 8
1.2  測試左移和開發(fā)者自測·· 13
1.2.1  傳統(tǒng)瀑布模型下軟件測試面臨的挑戰(zhàn)·· 13
1.2.2  測試左移的早期實踐    14
1.2.3  軟件測試工程化面臨的挑戰(zhàn)與機遇·· 16
1.2.4  測試左移的進階實踐    19
1.2.5  測試左移的深度思考    21
1.3  測試右移的工程實踐·· 21
1.3.1  生產(chǎn)環(huán)境冒煙測試·· 22
1.3.2  全鏈路壓力測試·· 22
1.3.3  混沌工程·· 24
1.3.4  紅藍對抗·· 26
1.3.5  A/B測試·· 27
1.3.6  灰度發(fā)布·· 28
1.3.7  線上監(jiān)控·· 30
1.3.8  用戶體驗分析·· 31
1.4  DevSecOps：從安全測試到安全工程·· 34
1.4.1  傳統(tǒng)軟件安全開發(fā)體系面臨的挑戰(zhàn)·· 34
1.4.2  新技術對軟件安全開發(fā)提出的挑戰(zhàn)·· 35
1.4.3  DevSecOps概念的誕生與內(nèi)涵·· 36
1.4.4  DevSecOps工具·· 37
1.4.5  典型DevSecOps流程解讀    39
1.5  DevPerfOps：從性能測試到性能工程·· 41
1.5.1  DevPerfOps的由來·· 41
1.5.2  全鏈路壓測的局限性    41
1.5.3  DevPerfOps全流程解讀    42
第2章  軟件測試策略··· 46
2.1  什么是測試策略·· 46
2.1.1  測試策略不等于測試方針    47
2.1.2  測試策略不等于測試計劃    48
2.1.3  測試策略不等于測試方案    48
2.1.4  測試策略本質(zhì)上是一種選擇    49
2.2  常用的測試策略·· 50
2.2.1  基于產(chǎn)品質(zhì)量的測試策略    50
2.2.2  基于產(chǎn)品特性價值的測試策略·· 52
2.2.3  不同產(chǎn)品階段下的測試策略·· 57
2.2.4  基于探索的測試策略——啟發(fā)式測試策略·· 58
2.2.5  自動化持續(xù)測試策略    60
2.3  測試策略的制定方法·· 62
2.3.1  四步測試策略制定法    63
2.3.2  產(chǎn)品質(zhì)量評估模型·· 65
2.3.3  組合缺陷分析技術·· 69
2.4  測試風險分析·· 81
2.4.1  測試風險識別·· 82
2.4.2  測試風險評估·· 85
2.4.3  測試風險應對·· 86
2.5  不同研發(fā)模式下的測試分層    88
2.5.1  瀑布模式下的測試分層    88
2.5.2  敏捷模式下的測試分層    89
第3章  測試分析和測試設計··· 93
3.1  測試分析和測試設計概述·· 93
3.1.1  好的測試設計的“味道”    93
3.1.2  當前測試設計的困頓    93
3.1.3  測試分析和測試設計是兩個不同的活動·· 94
3.2  測試分析的方法·· 95
3.2.1  深入理解質(zhì)量是做好測試分析的基礎·· 95
3.2.2  軟件產(chǎn)品質(zhì)量模型·· 96
3.2.3  深入理解測試類型·· 103
3.2.4  通過質(zhì)量屬性來探索測試方法·· 104
3.2.5  通過質(zhì)量屬性確定測試的深度和廣度·· 105
3.2.6  使用車輪圖進行測試分析    105
3.3  測試設計的方法·· 107
3.3.1  基于路徑分析的測試設計方法·· 107
3.3.2  基于輸入-輸出表的測試設計方法·· 118
3.3.3  基于等價類-邊界值的測試設計方法·· 119
3.3.4  基于因子表的測試設計方法·· 123
3.3.5  幾種測試設計方法的比較    127
第4章  軟件測試與系統(tǒng)架構·· 129
4.1  典型應用系統(tǒng)架構與測試關鍵指標·· 129
4.1.1  典型應用系統(tǒng)架構·· 129
4.1.2  客戶端請求的網(wǎng)絡通信    131
4.1.3  與測試相關的系統(tǒng)架構關鍵指標·· 132
4.2  緩存架構及其對緩存測試的影響    134
4.2.1  緩存架構·· 134
4.2.2  緩存對測試的影響·· 136
4.3  異步消息驅(qū)動架構及其對測試的影響·· 137
4.3.1  異步消息驅(qū)動架構·· 137
4.3.2  異步消息驅(qū)動架構對測試的影響·· 138
4.4  負載均衡架構及灰度發(fā)布對測試的影響·· 139
4.4.1  負載均衡架構·· 139
4.4.2  灰度發(fā)布及其對測試的影響·· 141
4.5  分布式數(shù)據(jù)庫架構及高可用性測試·· 142
4.5.1  分布式數(shù)據(jù)庫架構·· 142
4.5.2  分布式數(shù)據(jù)的高可用性測試·· 144
4.6  微服務架構及其對測試的影響    145
4.6.1  微服務架構·· 146
4.6.2  微服務架構對測試的影響    147
4.7  大數(shù)據(jù)架構及機器學習對測試的影響·· 148
4.7.1  大數(shù)據(jù)架構·· 148
4.7.2  機器學習對測試的影響    149
第5章  Web測試技術精要··· 151
5.1  Web測試技術概述·· 151
5.1.1  Web測試技術要點·· 151
5.1.2  Web自動化測試技術    155
5.2  基于編程語言的Web測試框架    157
5.2.1  Selenium· 157
5.2.2  Airtest 164
5.2.3  Playwright 165
5.3  基于編程語言的測試代碼的組織    169
5.3.1  未經(jīng)組織的測試代碼    171
5.3.2  組織后的測試代碼·· 173
5.4  Web自動化測試的痛點·· 180
5.5  高效執(zhí)行自動化測試·· 181
5.5.1  并行模式·· 181
5.5.2  無頭模式·· 183
5.5.3  模擬登錄·· 183
5.6  穩(wěn)定的自動化測試·· 184
5.6.1  基于頁面或元素狀態(tài)的等待·· 184
5.6.2  重試機制·· 186
5.7  視覺驗證測試·· 186
5.7.1  Appilitools Eyes 187
5.7.2  Recheck-Web· 190
5.8  自我修復測試·· 193
5.8.1  Healenium· 193
5.8.2  Recheck-Web· 198
5.9  無代碼/低代碼自動化測試·· 201
第6章  移動端測試技術精要··· 204
6.1  移動端測試基礎技能·· 204
6.1.1  通過HTTP Debug Proxy深入了解移動端測試·· 204
6.1.2  設計測試用例·· 205
6.2  移動端測試進階·· 208
6.2.1  UI自動化測試·· 208
6.2.2  穩(wěn)定性測試·· 220
6.3  移動端測試的左移和右移·· 224
第7章  接口測試技術精要··· 226
7.1  接口測試概述·· 226
7.2  接口測試關鍵技術·· 227
7.2.1  模擬協(xié)議客戶端·· 228
7.2.2  接口邏輯模擬·· 228
7.2.3  數(shù)據(jù)驅(qū)動·· 236
7.2.4  測試斷言·· 239
7.2.5  解耦技術·· 239
7.2.6  關鍵字驅(qū)動·· 242
7.2.7  測試報告·· 242
7.3  自動化接口測試關鍵技術·· 243
7.4  接口測試的新技術·· 244
7.4.1  契約測試·· 244
7.4.2  流量錄制·· 245
7.4.3  精準測試·· 246
7.5  接口測試平臺化·· 246
7.6  測試右移下的接口測試·· 249
第8章  代碼級測試技術精要··· 250
8.1  代碼級測試技術概述·· 250
8.2  靜態(tài)代碼分析技術·· 251
8.2.1  靜態(tài)代碼分析概述·· 251
8.2.2  靜態(tài)代碼分析的優(yōu)勢    253
8.2.3  靜態(tài)代碼分析方法的類型    254
8.2.4  靜態(tài)代碼分析的原理    256
8.2.5  常見靜態(tài)代碼分析工具    258
8.2.6  靜態(tài)代碼分析工具面臨的挑戰(zhàn)·· 261
8.2.7  靜態(tài)代碼分析工具的選擇    262
8.3  代碼評審技術·· 263
8.3.1  代碼評審概述·· 263
8.3.2  代碼評審的價值·· 263
8.3.3  代碼評審的類型·· 264
8.3.4  代碼評審的內(nèi)容·· 265
8.3.5  代碼評審最佳實踐·· 266
8.4  契約測試技術·· 274
8.4.1  契約測試概述·· 274
8.4.2  契約測試基本要素·· 277
8.4.3  繼承與契約·· 280
8.4.4  一些說明·· 283
8.5  單元測試技術·· 286
8.5.1  單元測試概述·· 286
8.5.2  設計方法·· 291
8.5.3  測試先行·· 300
8.6  智能測試技術·· 301
8.6.1  智能測試技術概述·· 301
8.6.2  智能測試技術階段劃分    302
8.6.3  智能測試關鍵技術·· 304
第9章  性能測試技術精要··· 312
9.1  性能市場現(xiàn)狀·· 312
9.2  RESAR性能工程概述·· 313
9.2.1  RESAR性能工程·· 313
9.2.2  性能容量規(guī)劃·· 326
9.2.3  性能工具解析·· 328
9.3  性能測試階段·· 329
9.3.1  需求階段·· 329
9.3.2  準備階段·· 333
9.3.3  執(zhí)行階段·· 334
9.3.4  報告階段·· 336
9.3.5  環(huán)比階段·· 337
9.4  性能監(jiān)控分析邏輯·· 338
9.4.1  操作系統(tǒng)監(jiān)控分析邏輯    338
9.4.2  開發(fā)語言監(jiān)控分析邏輯    353
9.4.3  數(shù)據(jù)庫監(jiān)控分析邏輯    366
9.5  性能分析案例·· 391
9.5.1  場景運行數(shù)據(jù)·· 391
9.5.2  分析系統(tǒng)架構·· 391
9.5.3  拆分響應時間·· 392
第10章  可靠性測試技術精要··· 420
10.1  可靠性測試概述·· 420
10.1.1  可靠性測試目的·· 420
10.1.2  可靠性測試設計·· 420
10.1.3  可靠性測試環(huán)境·· 422
10.1.4  可靠性測試執(zhí)行·· 422
10.1.5  可靠性測試工具·· 424
10.1.6  可靠性評估指標·· 424
10.1.7  可靠性測試報告·· 426
10.2  可靠性設計驗證·· 426
10.2.1  可靠性故障管理驗證    427
10.2.2  可靠性冗余設計驗證    428
10.2.3  可靠性容災設計驗證    428
10.2.4  可靠性過載控制驗證    430
10.3  可靠性負向驗證·· 431
10.3.1  故障模式·· 431
10.3.2  故障預案·· 432
10.3.3  混沌工程·· 433
第11章  自動化測試框架設計和實現(xiàn)··· 435
11.1  自動化測試框架概述·· 435
11.1.1  自動化測試框架的定義    435
11.1.2  自動化測試框架的目標    435
11.1.3  自動化測試框架和測試庫的區(qū)別·· 436
11.2  自動化測試框架類型·· 437
11.2.1  簡單測試框架·· 437
11.2.2  x-Driven測試框架·· 439
11.2.3  混合型測試框架·· 442
11.2.4  不同類型測試框架對比    443
11.3  自動化測試框架的通用實現(xiàn)原理·· 444
11.3.1  分層架構模型·· 444
11.3.2  gTAA模型·· 446
11.3.3  通用型測試框架·· 447
11.4  自動化測試框架開發(fā)設計指南    448
11.4.1  測試框架特征    448
11.4.2  代碼編寫原則·· 449
11.4.3  設計模式的使用·· 455
第12章  測試基礎設施能力建設··· 462
12.1  測試執(zhí)行環(huán)境架構設計基礎    462
12.1.1  測試執(zhí)行環(huán)境概述    462
12.1.2  測試基礎架構的設計    464
12.1.3  早期的測試基礎架構    464
12.1.4  經(jīng)典的測試基礎架構    465
12.2  測試執(zhí)行環(huán)境架構設計進階    466
12.2.1  基于Docker實現(xiàn)的SeleniumGrid測試基礎架構·· 466
12.2.2  引入統(tǒng)一測試執(zhí)行平臺的測試基礎架構·· 467
12.2 .3  基于Jenkins集群的測試基礎架構·· 469
12.2.4  測試負載自適應的測試基礎架構·· 470
12.2.5  測試基礎架構的選擇    471
12.3  實戰(zhàn)案例：大型全球化電商網(wǎng)站的測試基礎架構設計·· 471
第13章  軟件測試新實踐和新方法··· 477
13.1  測試驅(qū)動開發(fā)·· 477
13.1.1  測試驅(qū)動開發(fā)的基本理念    477
13.1.2  UTDD、ATDD與BDD   479
13.1.3  測試驅(qū)動開發(fā)的誤區(qū)    482
13.2  精準測試·· 483
13.2.1  精準測試的技術實現(xiàn)    484
13.2.2  精準測試的前沿探索    487
13.3  代碼注入測試·· 489
13.3.1  灰盒測試面臨的挑戰(zhàn)    489
13.3.2  OOP的困境及AOP的解決思路·· 490
13.3.3  AOP基本概念及其啟示    493
13.3.4  基于AOP的測試實戰(zhàn)案例·· 498
13.3.5  AOP的局限性·· 512
13.4  混沌工程·· 512
13.4.1  混沌工程的起源·· 513
13.4.2  混沌工程的原則·· 513
13.4.3  攻防演練·· 515
13.4.4  混沌工程的相關工具    515
13.5  變異測試·· 518
13.5.1  變異測試的基本流程    519
13.5.2  變異測試的核心概念    520
13.5.3  變異測試的應用案例    522
13.5.4  變異測試的工程化實踐    525
13.6  探索式測試·· 527
13.6.1  探索式測試的基本理念    527
13.6.2  探索式測試的思維模型    528
13.6.3  探索式測試的方法    529
13.6.4  探索式測試的開展    533
13.6.5  探索式測試的誤區(qū)    534
13.7  微服務測試·· 535
13.7.1  云原生和微服務·· 535
13.7.2  微服務測試體系建設    541
第14章  智能化測試技術··· 557
14.1  從測試視角看AI 557
14.2  基于數(shù)據(jù)的智能化測試·· 561
14.3  基于目標的智能化測試·· 564
14.4  智能化測試的實踐·· 570
第15章  AI產(chǎn)品測試技術··· 574
15.1  AI產(chǎn)品測試技術概述·· 574
15.1.1  AI相關概念·· 574
15.1.2  AI產(chǎn)品對測試提出的挑戰(zhàn)·· 575
15.2  AI產(chǎn)品的功能測試·· 576
15.2.1  AI產(chǎn)品功能測試面臨的挑戰(zhàn)·· 577
15.2.2  蛻變測試·· 578
15.2.3  AI產(chǎn)品的測試評估    579
15.3  AI產(chǎn)品的非功能測試·· 583
15.3.1  模型相關的性能度量指標    583
15.3.2  AI產(chǎn)品相關的性能指標    586
15.3.3  倫理道德驗證·· 587
第16章  大數(shù)據(jù)產(chǎn)品測試技術··· 591
16.1  大數(shù)據(jù)基礎知識·· 591
16.1.1  初識大數(shù)據(jù)·· 591
16.1.2  什么是大數(shù)據(jù)·· 592
16.1.3  主流大數(shù)據(jù)架構和產(chǎn)品    593
16.2  大數(shù)據(jù)產(chǎn)品測試與傳統(tǒng)軟件測試    594
16.2.1  大數(shù)據(jù)產(chǎn)品測試與傳統(tǒng)軟件測試的聯(lián)系·· 594
16.2.2  大數(shù)據(jù)產(chǎn)品測試面臨的挑戰(zhàn)·· 595
16.3  測試數(shù)據(jù)的準備·· 597
16.3.1  測試數(shù)據(jù)的重要性    597
16.3.2  數(shù)據(jù)準備方式·· 597
16.4  大數(shù)據(jù)產(chǎn)品的功能性測試·· 602
16.4.1  ETL測試·· 602
16.4.2  數(shù)據(jù)質(zhì)量測試·· 607
16.5  大數(shù)據(jù)產(chǎn)品的非功能性測試    610
16.5.1  大數(shù)據(jù)產(chǎn)品非功能性測試面臨的挑戰(zhàn)·· 611
16.5.2  非功能性測試設計    612
第17章  區(qū)塊鏈測試技術·· 618
17.1  區(qū)塊鏈概述·· 618
17.1.1  區(qū)塊鏈定義·· 618
17.1.2  區(qū)塊鏈特征·· 618
17.1.3  區(qū)塊鏈分類·· 619
17.1.4  區(qū)塊鏈的應用場景    619
17.2  區(qū)塊鏈測試技術總覽·· 620
17.2.1  區(qū)塊鏈通用架構體系    621
17.2.2  區(qū)塊鏈“四橫四縱”測試體系·· 625
17.3  DApp測試·· 626
17.3.1  DApp概述·· 626
17.3.2  專項測試·· 630
17.3.3  異常測試·· 640
17.3.4  安全測試·· 644
17.3.5  穩(wěn)定性測試·· 648
17.4  分布式共識測試·· 651
17.4.1  常見共識算法·· 651
17.4.2  專項測試·· 654
17.4.3  異常測試·· 667
17.4.4  安全測試·· 676
17.4.5  穩(wěn)定性測試·· 681
17.5  智能合約測試·· 685
17.5.1  智能合約·· 685
17.5.2  專項測試·· 696
17.5.3  異常測試·· 709
17.5.4  安全測試·· 715
17.5.5  穩(wěn)定性測試·· 729
17.6  P2P網(wǎng)絡測試·· 731
17.6.1  P2P· 731
17.6.2  專項測試·· 738
17.6.3  異常測試·· 745
17.6.4  安全測試·· 752
17.6.5  穩(wěn)定性測試·· 760
第18章  圖形圖像相關應用的測試技術實踐··· 765
18.1  機器視覺產(chǎn)品的測試概述·· 765
18.1.1  機器視覺概述·· 765
18.1.2  測試機器視覺產(chǎn)品的挑戰(zhàn)和策略·· 765
18.2  AI技術在畫質(zhì)增強方向的產(chǎn)品    767
18.2.1  畫質(zhì)客觀測試·· 777
18.2.2  畫質(zhì)測試的效能提升實踐    779
18.3  AI技術在人臉識別方向的產(chǎn)品    780
18.3.1  人臉解鎖概述·· 780
18.3.2  AI技術在人群畫像、人群追蹤客流技術方向綜合應用的產(chǎn)品·· 787
第19章  大模型賦能下的測試智能化··· 790
19.1  大模型和大語言模型·· 790
19.1.1  大語言模型與代碼生成    791
19.1.2  多模態(tài)大模型·· 794
19.2  大模型時代的智能化測試·· 795
19.2.1  軟件測試本質(zhì)探討    796
19.2.2  更聰明的猴子·· 798
19.3  大模型智能化測試的探索實戰(zhàn)    799
19.3.1  智能探索型測試·· 799
19.3.2  測試用例生成·· 803
19.3.3  測試結果分析和診斷建議    805
19.3.4  利用Hydra Lab搭建智能化測試平臺·· 805
第20章  XRunner應用案例··· 809
20.1  信息系統(tǒng)領域性能保障痛點    809
20.1.1  業(yè)務挑戰(zhàn)·· 809
20.1.2  技術挑戰(zhàn)·· 810
20.1.3  工具挑戰(zhàn)·· 810
20.2  解決思路·· 812
20.2.1  技術突破·· 812
20.2.2  業(yè)務突破·· 814
20.2.3  工具突破·· 815
20.3  案例·· 815
20.3.1  背景簡介·· 815
20.3.2  壓測需求·· 816
20.3.3  壓測目標·· 816
20.3.4  壓測方案·· 816
20.3.5  壓測方法和范圍·· 816
20.4  實踐后的效果對比與總結·· 818
20.4.1  壓測結果··· 818
20.4.2  總結報告·· 820