123,123

內(nèi)容簡(jiǎn)介

　　本書(shū)全面系統(tǒng)地介紹了大數(shù)據(jù)的測(cè)試技術(shù)與質(zhì)量體系建設(shè)。本書(shū)共11章，第1～4章涵蓋認(rèn)識(shí)大數(shù)據(jù)，大數(shù)據(jù)技術(shù)生態(tài)，數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與構(gòu)建，以及大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)流程；第5～7章講解大數(shù)據(jù)測(cè)試方法、大數(shù)據(jù)測(cè)試實(shí)踐和數(shù)據(jù)質(zhì)量管理；第8～10章介紹大數(shù)據(jù)測(cè)試平臺(tái)實(shí)踐、數(shù)據(jù)治理平臺(tái)建設(shè)，以及DataOps的理念與實(shí)踐；第11章提供大數(shù)據(jù)測(cè)試學(xué)習(xí)路線。附錄列出了大數(shù)據(jù)技術(shù)經(jīng)典面試題。本書(shū)適合想要了解大數(shù)據(jù)技術(shù)的讀者，以及想要學(xué)習(xí)和掌握大數(shù)據(jù)測(cè)試與大數(shù)據(jù)開(kāi)發(fā)的從業(yè)者。通過(guò)閱讀本書(shū)，測(cè)試工程師可以系統(tǒng)地學(xué)習(xí)大數(shù)據(jù)技術(shù)基礎(chǔ)、大數(shù)據(jù)開(kāi)發(fā)和大數(shù)據(jù)測(cè)試等知識(shí)；大數(shù)據(jù)開(kāi)發(fā)工程師可以借鑒大數(shù)據(jù)質(zhì)量保障的方法，拓寬數(shù)據(jù)工程實(shí)踐的思路；技術(shù)專(zhuān)家和技術(shù)管理者可以了解大數(shù)據(jù)質(zhì)量保障體系、數(shù)據(jù)治理建設(shè)和DataOps實(shí)踐等內(nèi)容。

作者簡(jiǎn)介

　　艾輝，中國(guó)人民大學(xué)概率論與數(shù)理統(tǒng)計(jì)專(zhuān)業(yè)碩士，《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前，擔(dān)任融360技術(shù)總監(jiān)，主要負(fù)責(zé)AI風(fēng)控產(chǎn)品、用戶產(chǎn)品和基礎(chǔ)架構(gòu)的質(zhì)量保障工作。曾在阿里本地生活擔(dān)任高級(jí)技術(shù)經(jīng)理，負(fù)責(zé)用戶產(chǎn)品、新零售產(chǎn)品的質(zhì)量保障工作。擁有9年多的測(cè)試開(kāi)發(fā)工作經(jīng)驗(yàn)，曾多次受邀在行業(yè)技術(shù)大會(huì)（如MTSC、GITC、Top100、TiD、A2M和TICA等）上做主題分享。對(duì)大數(shù)據(jù)、機(jī)器學(xué)習(xí)測(cè)試技術(shù)有深刻理解，并長(zhǎng)期專(zhuān)注于質(zhì)量保障與工程效能領(lǐng)域。陳高飛，東北大學(xué)計(jì)算機(jī)技術(shù)專(zhuān)業(yè)碩士，《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前，擔(dān)任融360測(cè)試開(kāi)發(fā)工程師，主要從事機(jī)器學(xué)習(xí)方向的測(cè)試開(kāi)發(fā)工作。擅長(zhǎng)白盒測(cè)試、大數(shù)據(jù)測(cè)試和模型測(cè)試，在工具平臺(tái)開(kāi)發(fā)方面有豐富的實(shí)踐經(jīng)驗(yàn)。郝嶸，北京信息科技大學(xué)自動(dòng)化專(zhuān)業(yè)碩士，《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前，擔(dān)任融360高級(jí)測(cè)試開(kāi)發(fā)工程師，主要負(fù)責(zé)大數(shù)據(jù)方向的測(cè)試開(kāi)發(fā)工作。擅長(zhǎng)Python開(kāi)發(fā)、大數(shù)據(jù)測(cè)試和機(jī)器學(xué)習(xí)測(cè)試，主導(dǎo)了多個(gè)工具平臺(tái)的開(kāi)發(fā)，在大數(shù)據(jù)質(zhì)量保障方面有豐富的實(shí)踐經(jīng)驗(yàn)。雷天鳴，哈爾濱理工大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)碩士，《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前，擔(dān)任融360測(cè)試開(kāi)發(fā)工程師，主要從事機(jī)器學(xué)習(xí)方向的測(cè)試開(kāi)發(fā)工作。擅長(zhǎng)大數(shù)據(jù)測(cè)試、特征測(cè)試和模型算法評(píng)測(cè)等，對(duì)金融風(fēng)控業(yè)務(wù)有深刻理解。李曼曼，融360高級(jí)測(cè)試開(kāi)發(fā)工程師，《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。擁有近11年的測(cè)試開(kāi)發(fā)工作經(jīng)驗(yàn)，主導(dǎo)了多個(gè)工具平臺(tái)的開(kāi)發(fā)和大型項(xiàng)目的測(cè)試工作。擅長(zhǎng)白盒測(cè)試、性能測(cè)試、自動(dòng)化測(cè)試、持續(xù)集成和工程效能，在大數(shù)據(jù)和特征模型測(cè)試方面有豐富的實(shí)踐經(jīng)驗(yàn)。馬綿，陜西科技大學(xué)網(wǎng)絡(luò)工程專(zhuān)業(yè)學(xué)士，融360測(cè)試開(kāi)發(fā)工程師。目前主要從事服務(wù)端測(cè)試開(kāi)發(fā)工作，擅長(zhǎng)自動(dòng)化測(cè)試、安全測(cè)試，在服務(wù)穩(wěn)定性保障方面有豐富的實(shí)踐經(jīng)驗(yàn)。孫冰妍，東北大學(xué)通信與信息系統(tǒng)專(zhuān)業(yè)碩士，融360測(cè)試開(kāi)發(fā)工程師。目前主要從事服務(wù)端測(cè)試開(kāi)發(fā)工作，擅長(zhǎng)白盒測(cè)試、自動(dòng)化測(cè)試、性能測(cè)試、安全測(cè)試和持續(xù)集成。參與了多個(gè)工具平臺(tái)的開(kāi)發(fā)，并主導(dǎo)了多個(gè)大型項(xiàng)目的測(cè)試工作。對(duì)大數(shù)據(jù)測(cè)試技術(shù)有深刻理解。孫金娟，山西財(cái)經(jīng)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)學(xué)士，《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前，擔(dān)任融360測(cè)試開(kāi)發(fā)工程師，有近9年的Java開(kāi)發(fā)、測(cè)試開(kāi)發(fā)工作經(jīng)驗(yàn)。擅長(zhǎng)大數(shù)據(jù)測(cè)試和工具平臺(tái)開(kāi)發(fā)，對(duì)機(jī)器學(xué)習(xí)、特征模型測(cè)試有深刻理解。張咪，北京交通大學(xué)通信與信息系統(tǒng)專(zhuān)業(yè)碩士，《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前，擔(dān)任融360測(cè)試經(jīng)理，主要負(fù)責(zé)用戶產(chǎn)品的質(zhì)量保障工作，曾負(fù)責(zé)基礎(chǔ)架構(gòu)、SRE（Site Reliability Engineering，網(wǎng)站可靠性工程）等方面的測(cè)試開(kāi)發(fā)工作。在自動(dòng)化測(cè)試、服務(wù)穩(wěn)定性、專(zhuān)項(xiàng)測(cè)試和工程效能等方面有豐富的實(shí)踐經(jīng)驗(yàn)，曾受邀在行業(yè)技術(shù)大會(huì)（如MTSC、A2M等）做主題分享。對(duì)大數(shù)據(jù)、機(jī)器學(xué)習(xí)測(cè)試有深刻的理解，并在這些領(lǐng)域擁有豐富的實(shí)踐經(jīng)驗(yàn)。張朋周，中國(guó)地質(zhì)大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)專(zhuān)業(yè)碩士，《機(jī)器學(xué)習(xí)測(cè)試入門(mén)與實(shí)踐》作者之一。目前，擔(dān)任融360高級(jí)測(cè)試開(kāi)發(fā)工程師，曾在百度從事搜索業(yè)務(wù)測(cè)試開(kāi)發(fā)，有近9年的開(kāi)發(fā)測(cè)試工作經(jīng)驗(yàn)。目前，主要負(fù)責(zé)機(jī)器學(xué)習(xí)方向的測(cè)試開(kāi)發(fā)工作，主導(dǎo)了多個(gè)工具平臺(tái)的開(kāi)發(fā)，在數(shù)據(jù)質(zhì)量保障、模型評(píng)估平臺(tái)方面有豐富的實(shí)踐經(jīng)驗(yàn)。

圖書(shū)目錄

第1章認(rèn)識(shí)大數(shù)據(jù)／1
1.1　大數(shù)據(jù)概述／1
1.2　大數(shù)據(jù)的發(fā)展／2
1.3　大數(shù)據(jù)的應(yīng)用／4
1.3.1　互聯(lián)網(wǎng)領(lǐng)域／4
1.3.2　物流領(lǐng)域／5
1.3.3　教育領(lǐng)域／6
1.3.4　金融領(lǐng)域／7
1.3.5　電信領(lǐng)域／7
1.4　本章小結(jié)／8
第2章大數(shù)據(jù)技術(shù)生態(tài)／9
2.1　大數(shù)據(jù)技術(shù)生態(tài)總覽／9
2.2　大數(shù)據(jù)采集技術(shù)／10
2.3　大數(shù)據(jù)存儲(chǔ)技術(shù)／10
2.3.1　分布式文件系統(tǒng)：HDFS／10
2.3.2　海量數(shù)據(jù)列式存儲(chǔ)： HBase／13
2.3.3　其他數(shù)據(jù)存儲(chǔ)技術(shù)／18
2.4　大數(shù)據(jù)計(jì)算分析技術(shù)／19
2.4.1　批處理計(jì)算的基石：MapReduce／19
2.4.2　流計(jì)算的代表：Storm、Spark Streaming和Flink／21
2.4.3　OLAP引擎：Hive、Impala和Presto／24
2.5　大數(shù)據(jù)管理調(diào)度技術(shù)／30
2.5.1　分布式集群資源調(diào)度框架：YARN／30
2.5.2　容器集群管理系統(tǒng)：Kubernetes／32
2.5.3　大數(shù)據(jù)的“動(dòng)物園管理員”：ZooKeeper／33
2.5.4　常用的工作流調(diào)度平臺(tái)：Azkaban、Oozie和Airflow／34
2.6　大數(shù)據(jù)商業(yè)產(chǎn)品／36
2.7　本章小結(jié)／38
第3章　數(shù)據(jù)倉(cāng)庫(kù)的設(shè)計(jì)與構(gòu)建／39
3.1　數(shù)據(jù)倉(cāng)庫(kù)概述／39
3.1.1　什么是數(shù)據(jù)倉(cāng)庫(kù)／39
3.1.2　數(shù)據(jù)倉(cāng)庫(kù)的發(fā)展過(guò)程／41
3.1.3　數(shù)據(jù)倉(cāng)庫(kù)與數(shù)據(jù)集市、數(shù)據(jù)湖、數(shù)據(jù)中臺(tái)的區(qū)別／43
3.2　數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì)／44
3.2.1　架構(gòu)分層設(shè)計(jì)／44
3.2.2　數(shù)據(jù)模型設(shè)計(jì)／46
3.3　數(shù)據(jù)倉(cāng)庫(kù)構(gòu)建／50
3.3.1　數(shù)據(jù)倉(cāng)庫(kù)的構(gòu)建方法與評(píng)價(jià)標(biāo)準(zhǔn)／50
3.3.2　數(shù)據(jù)倉(cāng)庫(kù)實(shí)例／51
3.4　本章小結(jié)／58
第4章　大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)流程／59
4.1　大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)概覽／59
4.2　數(shù)據(jù)的采集與存儲(chǔ)／60
4.2.1　服務(wù)端日志采集／61
4.2.2　客戶端日志采集／62
4.2.3　數(shù)據(jù)同步／64
4.2.4　大數(shù)據(jù)存儲(chǔ)／66
4.3　大數(shù)據(jù)計(jì)算／67
4.4　大數(shù)據(jù)監(jiān)控／71
4.4.1　數(shù)據(jù)監(jiān)控／71
4.4.2　運(yùn)維監(jiān)控／72
4.5　大數(shù)據(jù)項(xiàng)目開(kāi)發(fā)案例／73
4.5.1　項(xiàng)目背景介紹／74
4.5.2　項(xiàng)目需求分析／74
4.5.3　項(xiàng)目開(kāi)發(fā)流程／76
4.6　本章小結(jié)／83
第5章　大數(shù)據(jù)測(cè)試方法／84
5.1　大數(shù)據(jù)測(cè)試概述／84
5.1.1　什么是大數(shù)據(jù)測(cè)試／84
5.1.2　大數(shù)據(jù)測(cè)試與傳統(tǒng)數(shù)據(jù)測(cè)試／84
5.2　大數(shù)據(jù)測(cè)試類(lèi)型／85
5.2.1　功能測(cè)試／85
5.2.2　性能測(cè)試／89
5.2.3　其他非功能性測(cè)試／93
5.3　大數(shù)據(jù)測(cè)試流程／94
5.4　大數(shù)據(jù)基準(zhǔn)測(cè)試／96
5.4.1　大數(shù)據(jù)基準(zhǔn)測(cè)試簡(jiǎn)介／97
5.4.2　大數(shù)據(jù)基準(zhǔn)測(cè)試的步驟／97
5.4.3　大數(shù)據(jù)基準(zhǔn)測(cè)試工具／98
5.5　大數(shù)據(jù)ETL測(cè)試／100
5.5.1　大數(shù)據(jù)ETL測(cè)試類(lèi)型／100
5.5.2　大數(shù)據(jù)ETL測(cè)試場(chǎng)景／103
5.5.3　大數(shù)據(jù)ETL測(cè)試工具／107
5.6　大數(shù)據(jù)測(cè)試總結(jié)／108
5.6.1　大數(shù)據(jù)測(cè)試中的典型問(wèn)題／108
5.6.2　大數(shù)據(jù)測(cè)試經(jīng)驗(yàn)總結(jié)／112
5.6.3　大數(shù)據(jù)測(cè)試面臨的挑戰(zhàn)／113
5.7　本章小結(jié)／113
第6章　大數(shù)據(jù)測(cè)試實(shí)踐／114
6.1　BI報(bào)表測(cè)試／114
6.1.1　BI工具簡(jiǎn)介／114
6.1.2　Tableau簡(jiǎn)介／115
6.1.3　BI報(bào)表測(cè)試實(shí)踐／120
6.2　數(shù)據(jù)挖掘產(chǎn)品測(cè)試／128
6.2.1　數(shù)據(jù)挖掘的定義和流程／128
6.2.2　數(shù)據(jù)挖掘產(chǎn)品簡(jiǎn)介／129
6.2.3　數(shù)據(jù)挖掘產(chǎn)品測(cè)試實(shí)踐／130
6.3　用戶行為分析平臺(tái)測(cè)試／139
6.3.1　用戶行為分析平臺(tái)測(cè)試概覽／139
6.3.2　數(shù)據(jù)采集階段測(cè)試／140
6.3.3　實(shí)時(shí)數(shù)據(jù)處理階段測(cè)試／140
6.3.4　離線數(shù)據(jù)處理階段測(cè)試／153
6.3.5　數(shù)據(jù)查詢展示階段測(cè)試／153
6.4　本章小結(jié)／156
第7章　數(shù)據(jù)質(zhì)量管理／157
7.1　數(shù)據(jù)質(zhì)量管理概述／157
7.2　數(shù)據(jù)質(zhì)量管理流程／158
7.2.1　建立數(shù)據(jù)質(zhì)量管理辦法／159
7.2.2　制定數(shù)據(jù)標(biāo)準(zhǔn)／161
7.2.3　數(shù)據(jù)質(zhì)量自查評(píng)估／162
7.2.4　數(shù)據(jù)質(zhì)量問(wèn)題修復(fù)／170
7.3　本章小結(jié)／173
第8章　大數(shù)據(jù)測(cè)試平臺(tái)實(shí)踐／174
8.1　大數(shù)據(jù)測(cè)試平臺(tái)背景／174
8.2　大數(shù)據(jù)測(cè)試的開(kāi)源技術(shù)調(diào)研／175
8.2.1　great_expectations／176
8.2.2　WeBankFinTech Qualitis／178
8.3　大數(shù)據(jù)測(cè)試的商業(yè)方案分析／181
8.3.1　QuerySurge／182
8.3.2　RightData／184
8.4　從零開(kāi)始搭建大數(shù)據(jù)測(cè)試平臺(tái)／186
8.4.1　需求分析／187
8.4.2　架構(gòu)設(shè)計(jì)／187
8.4.3　功能實(shí)現(xiàn)／189
8.4.4　頁(yè)面演示／196
8.4.5　總結(jié)和展望／201
8.5　本章小結(jié)／203
第9章　數(shù)據(jù)治理平臺(tái)建設(shè)／204
9.1　數(shù)據(jù)治理概述／204
9.1.1　數(shù)據(jù)治理的基本概念／204
9.1.2　數(shù)據(jù)治理的重要意義／205
9.1.3　數(shù)據(jù)治理面臨的主要挑戰(zhàn)／206
9.1.4　如何開(kāi)展數(shù)據(jù)治理／206
9.2　數(shù)據(jù)治理平臺(tái)體系／207
9.3　元數(shù)據(jù)管理平臺(tái)／208
9.3.1　平臺(tái)產(chǎn)生背景／208
9.3.2　平臺(tái)架構(gòu)／208
9.3.3　模塊設(shè)計(jì)：數(shù)據(jù)采集／209
9.3.4　模塊設(shè)計(jì)：數(shù)據(jù)查詢／212
9.3.5　模塊設(shè)計(jì)：數(shù)據(jù)分析／214
9.4　數(shù)據(jù)質(zhì)量監(jiān)控平臺(tái)／219
9.4.1　平臺(tái)產(chǎn)生背景／219
9.4.2　平臺(tái)架構(gòu)／220
9.4.3　模塊設(shè)計(jì)：規(guī)則引擎／221
9.4.4　模塊設(shè)計(jì)：任務(wù)中心／230
9.4.5　模塊設(shè)計(jì)：報(bào)警系統(tǒng) ／230
9.5　本章小結(jié)／232
第10章 DataOps的理念與實(shí)踐／233
10.1　DataOps概述／233
10.1.1　什么是DataOps／233
10.1.2　為什么需要DataOps／235
10.1.3　DataOps與DevOps、MLOps的聯(lián)系和區(qū)別／237
10.2　DataOps的能力與特性／239
10.2.1　數(shù)據(jù)工程／239
10.2.2　數(shù)據(jù)集成／240
10.2.3　數(shù)據(jù)安全和數(shù)據(jù)隱私保護(hù)／241
10.2.4　數(shù)據(jù)質(zhì)量／242
10.2.5　DataOps的4個(gè)特性／243
10.3　DataOps技術(shù)實(shí)踐／244
10.3.1　DataOps技術(shù)工具／245
10.3.2　數(shù)據(jù)管道技術(shù)示例／246
10.4　本章小結(jié)／253
第11章大數(shù)據(jù)測(cè)試的學(xué)習(xí)路線和發(fā)展趨勢(shì)／254
11.1　為什么學(xué)習(xí)大數(shù)據(jù)測(cè)試／254
11.2　如何學(xué)習(xí)大數(shù)據(jù)測(cè)試／255
11.2.1　大數(shù)據(jù)測(cè)試的學(xué)習(xí)路線／255
11.2.2　大數(shù)據(jù)測(cè)試的技能圖譜／259
11.3　大數(shù)據(jù)測(cè)試的發(fā)展趨勢(shì)／269
11.4　本章小結(jié)／270
附錄　大數(shù)據(jù)技術(shù)經(jīng)典面試題／271
參考文獻(xiàn)／276