大數(shù)據(jù)測試技術(shù)與實踐（全彩印刷）

第1章 認識大數(shù)據(jù)／1
1.1　大數(shù)據(jù)概述／1
1.2　大數(shù)據(jù)的發(fā)展／2
1.3　大數(shù)據(jù)的應用／4
1.3.1　互聯(lián)網(wǎng)領(lǐng)域／4
1.3.2　物流領(lǐng)域／5
1.3.3　教育領(lǐng)域／6
1.3.4　金融領(lǐng)域／7
1.3.5　電信領(lǐng)域／7
1.4　本章小結(jié)／8
第2章 大數(shù)據(jù)技術(shù)生態(tài)／9
2.1　大數(shù)據(jù)技術(shù)生態(tài)總覽／9
2.2　大數(shù)據(jù)采集技術(shù)／10
2.3　大數(shù)據(jù)存儲技術(shù)／10
2.3.1　分布式文件系統(tǒng)：HDFS／10
2.3.2　海量數(shù)據(jù)列式存儲： HBase／13
2.3.3　其他數(shù)據(jù)存儲技術(shù)／18
2.4　大數(shù)據(jù)計算分析技術(shù)／19
2.4.1　批處理計算的基石：MapReduce／19
2.4.2　流計算的代表：Storm、Spark Streaming和Flink／21
2.4.3　OLAP引擎：Hive、Impala和Presto／24
2.5　大數(shù)據(jù)管理調(diào)度技術(shù)／30
2.5.1　分布式集群資源調(diào)度框架：YARN／30
2.5.2　容器集群管理系統(tǒng)：Kubernetes／32
2.5.3　大數(shù)據(jù)的“動物園管理員”：ZooKeeper／33
2.5.4　常用的工作流調(diào)度平臺：Azkaban、Oozie和Airflow／34
2.6　大數(shù)據(jù)商業(yè)產(chǎn)品／36
2.7　本章小結(jié)／38
第3章　數(shù)據(jù)倉庫的設(shè)計與構(gòu)建／39
3.1　數(shù)據(jù)倉庫概述／39
3.1.1　什么是數(shù)據(jù)倉庫／39
3.1.2　數(shù)據(jù)倉庫的發(fā)展過程／41
3.1.3　數(shù)據(jù)倉庫與數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺的區(qū)別／43
3.2　數(shù)據(jù)倉庫設(shè)計／44
3.2.1　架構(gòu)分層設(shè)計／44
3.2.2　數(shù)據(jù)模型設(shè)計／46
3.3　數(shù)據(jù)倉庫構(gòu)建／50
3.3.1　數(shù)據(jù)倉庫的構(gòu)建方法與評價標準／50
3.3.2　數(shù)據(jù)倉庫實例／51
3.4　本章小結(jié)／58
第4章　大數(shù)據(jù)項目開發(fā)流程／59
4.1　大數(shù)據(jù)項目開發(fā)概覽／59
4.2　數(shù)據(jù)的采集與存儲／60
4.2.1　服務端日志采集／61
4.2.2　客戶端日志采集／62
4.2.3　數(shù)據(jù)同步／64
4.2.4　大數(shù)據(jù)存儲／66
4.3　大數(shù)據(jù)計算／67
4.4　大數(shù)據(jù)監(jiān)控／71
4.4.1　數(shù)據(jù)監(jiān)控／71
4.4.2　運維監(jiān)控／72
4.5　大數(shù)據(jù)項目開發(fā)案例／73
4.5.1　項目背景介紹／74
4.5.2　項目需求分析／74
4.5.3　項目開發(fā)流程／76
4.6　本章小結(jié)／83
第5章　大數(shù)據(jù)測試方法／84
5.1　大數(shù)據(jù)測試概述／84
5.1.1　什么是大數(shù)據(jù)測試／84
5.1.2　大數(shù)據(jù)測試與傳統(tǒng)數(shù)據(jù)測試／84
5.2　大數(shù)據(jù)測試類型／85
5.2.1　功能測試／85
5.2.2　性能測試／89
5.2.3　其他非功能性測試／93
5.3　大數(shù)據(jù)測試流程／94
5.4　大數(shù)據(jù)基準測試／96
5.4.1　大數(shù)據(jù)基準測試簡介／97
5.4.2　大數(shù)據(jù)基準測試的步驟／97
5.4.3　大數(shù)據(jù)基準測試工具／98
5.5　大數(shù)據(jù)ETL測試／100
5.5.1　大數(shù)據(jù)ETL測試類型／100
5.5.2　大數(shù)據(jù)ETL測試場景／103
5.5.3　大數(shù)據(jù)ETL測試工具／107
5.6　大數(shù)據(jù)測試總結(jié)／108
5.6.1　大數(shù)據(jù)測試中的典型問題／108
5.6.2　大數(shù)據(jù)測試經(jīng)驗總結(jié)／112
5.6.3　大數(shù)據(jù)測試面臨的挑戰(zhàn)／113
5.7　本章小結(jié)／113
第6章　大數(shù)據(jù)測試實踐／114
6.1　BI報表測試／114
6.1.1　BI工具簡介／114
6.1.2　Tableau簡介／115
6.1.3　BI報表測試實踐／120
6.2　數(shù)據(jù)挖掘產(chǎn)品測試／128
6.2.1　數(shù)據(jù)挖掘的定義和流程／128
6.2.2　數(shù)據(jù)挖掘產(chǎn)品簡介／129
6.2.3　數(shù)據(jù)挖掘產(chǎn)品測試實踐／130
6.3　用戶行為分析平臺測試／139
6.3.1　用戶行為分析平臺測試概覽／139
6.3.2　數(shù)據(jù)采集階段測試／140
6.3.3　實時數(shù)據(jù)處理階段測試／140
6.3.4　離線數(shù)據(jù)處理階段測試／153
6.3.5　數(shù)據(jù)查詢展示階段測試／153
6.4　本章小結(jié)／156
第7章　數(shù)據(jù)質(zhì)量管理／157
7.1　數(shù)據(jù)質(zhì)量管理概述／157
7.2　數(shù)據(jù)質(zhì)量管理流程／158
7.2.1　建立數(shù)據(jù)質(zhì)量管理辦法／159
7.2.2　制定數(shù)據(jù)標準／161
7.2.3　數(shù)據(jù)質(zhì)量自查評估／162
7.2.4　數(shù)據(jù)質(zhì)量問題修復／170
7.3　本章小結(jié)／173
第8章　大數(shù)據(jù)測試平臺實踐／174
8.1　大數(shù)據(jù)測試平臺背景／174
8.2　大數(shù)據(jù)測試的開源技術(shù)調(diào)研／175
8.2.1　great_expectations／176
8.2.2　WeBankFinTech Qualitis／178
8.3　大數(shù)據(jù)測試的商業(yè)方案分析／181
8.3.1　QuerySurge／182
8.3.2　RightData／184
8.4　從零開始搭建大數(shù)據(jù)測試平臺／186
8.4.1　需求分析／187
8.4.2　架構(gòu)設(shè)計／187
8.4.3　功能實現(xiàn)／189
8.4.4　頁面演示／196
8.4.5　總結(jié)和展望／201
8.5　本章小結(jié)／203
第9章　數(shù)據(jù)治理平臺建設(shè)／204
9.1　數(shù)據(jù)治理概述／204
9.1.1　數(shù)據(jù)治理的基本概念／204
9.1.2　數(shù)據(jù)治理的重要意義／205
9.1.3　數(shù)據(jù)治理面臨的主要挑戰(zhàn)／206
9.1.4　如何開展數(shù)據(jù)治理／206
9.2　數(shù)據(jù)治理平臺體系／207
9.3　元數(shù)據(jù)管理平臺／208
9.3.1　平臺產(chǎn)生背景／208
9.3.2　平臺架構(gòu)／208
9.3.3　模塊設(shè)計：數(shù)據(jù)采集／209
9.3.4　模塊設(shè)計：數(shù)據(jù)查詢／212
9.3.5　模塊設(shè)計：數(shù)據(jù)分析／214
9.4　數(shù)據(jù)質(zhì)量監(jiān)控平臺／219
9.4.1　平臺產(chǎn)生背景／219
9.4.2　平臺架構(gòu)／220
9.4.3　模塊設(shè)計：規(guī)則引擎／221
9.4.4　模塊設(shè)計：任務中心／230
9.4.5　模塊設(shè)計：報警系統(tǒng) ／230
9.5　本章小結(jié)／232
第10章 DataOps的理念與實踐／233
10.1　DataOps概述／233
10.1.1　什么是DataOps／233
10.1.2　為什么需要DataOps／235
10.1.3　DataOps與DevOps、MLOps的聯(lián)系和區(qū)別／237
10.2　DataOps的能力與特性／239
10.2.1　數(shù)據(jù)工程／239
10.2.2　數(shù)據(jù)集成／240
10.2.3　數(shù)據(jù)安全和數(shù)據(jù)隱私保護／241
10.2.4　數(shù)據(jù)質(zhì)量／242
10.2.5　DataOps的4個特性／243
10.3　DataOps技術(shù)實踐／244
10.3.1　DataOps技術(shù)工具／245
10.3.2　數(shù)據(jù)管道技術(shù)示例／246
10.4　本章小結(jié)／253
第11章 大數(shù)據(jù)測試的學習路線和發(fā)展趨勢／254
11.1　為什么學習大數(shù)據(jù)測試／254
11.2　如何學習大數(shù)據(jù)測試／255
11.2.1　大數(shù)據(jù)測試的學習路線／255
11.2.2　大數(shù)據(jù)測試的技能圖譜／259
11.3　大數(shù)據(jù)測試的發(fā)展趨勢／269
11.4　本章小結(jié)／270
附錄　大數(shù)據(jù)技術(shù)經(jīng)典面試題／271
參考文獻／276