Hadoop與Spark大數(shù)據(jù)全景解析（視頻教學(xué)版）

第1篇  準(zhǔn)    備
第1章  了解Hadoop和Spark 2
1.1  什么是大數(shù)據(jù)處理 2
1.1.1  大數(shù)據(jù)概述 2
1.1.2  數(shù)據(jù)處理的挑戰(zhàn) 4
1.2  為什么選擇Hadoop和Spark 5
1.2.1  Hadoop的優(yōu)勢(shì) 5
1.2.2  Spark的優(yōu)勢(shì) 6
1.3  典型的大數(shù)據(jù)應(yīng)用案例 8
1.3.1  行業(yè)應(yīng)用案例 8
1.3.2  成功案例分析 10
1.4  Hadoop和Spark的設(shè)計(jì)理念 12
1.4.1  設(shè)計(jì)初衷 12
1.4.2  解讀Hadoop和Spark的特性 13
1.5  本章小結(jié) 15
第2章  快速搭建Hadoop和Spark學(xué)習(xí)環(huán)境 16
2.1  Hadoop簡(jiǎn)介 16
2.1.1  起源與發(fā)展 16
2.1.2  核心組件介紹 17
2.2  基礎(chǔ)環(huán)境的安裝與配置 19
2.2.1  基礎(chǔ)軟件下載 19
2.2.2  實(shí)例：Linux操作系統(tǒng)的安裝與配置 20
2.2.3  實(shí)例：SSH的安裝與配置 22
2.2.4  實(shí)例：Java運(yùn)行環(huán)境的安裝與配置 24
2.2.5  實(shí)例：安裝與配置Zookeeper 26
2.3  Hadoop和Spark環(huán)境搭建 30
2.3.1  實(shí)例：Hadoop環(huán)境搭建 31
2.3.2  實(shí)例：Spark環(huán)境搭建 46
2.4  Hadoop MapReduce基礎(chǔ) 48
2.4.1  MapReduce編程模型之Map階段 48
2.4.2  MapReduce編程模型之Reduce階段 49
2.5  本章小結(jié) 51
2.6  習(xí)題 51
第2篇  入    門(mén)
第3章  Hadoop高級(jí)特性 54
3.1  HDFS架構(gòu)深度解析 54
3.1.1  HDFS架構(gòu) 54
3.1.2  數(shù)據(jù)塊管理 56
3.1.3  命名空間 57
3.1.4  數(shù)據(jù)一致性 58
3.2  YARN調(diào)度器與資源管理 60
3.2.1  YARN基本原理 60
3.2.2  資源分配策略 62
3.3  Hadoop數(shù)據(jù)安全性 63
3.3.1  安全策略概述 64
3.3.2  Kerberos認(rèn)證 65
3.4  Hadoop性能調(diào)優(yōu) 68
3.4.1  集群性能監(jiān)控 68
3.4.2  參數(shù)調(diào)優(yōu)指南 69
3.5  Hadoop實(shí)戰(zhàn)案例 71
3.5.1  實(shí)際問(wèn)題解決 71
3.5.2  最佳實(shí)踐分享 73
3.6  本章小結(jié) 77
3.7  習(xí)題 77
第4章  Spark基礎(chǔ)特性 78
4.1  Spark簡(jiǎn)介 78
4.1.1  Spark發(fā)展歷程 78
4.1.2  Spark核心思想 79
4.2  Spark核心組件 80
4.2.1  Spark Core 81
4.2.2  Spark SQL 83
4.3  Spark基本數(shù)據(jù)結(jié)構(gòu) 85
4.3.1  RDD概述 85
4.3.2  DataFrame和DataSet介紹 88
4.4  內(nèi)存管理 96
4.4.1  內(nèi)存分配策略 96
4.4.2  內(nèi)存回收機(jī)制 101
4.5  本章小結(jié) 104
4.6  習(xí)題 104
第5章  Spark高級(jí)特性 105
5.1  Spark SQL與結(jié)構(gòu)化數(shù)據(jù)處理 105
5.1.1  使用Spark SQL進(jìn)行數(shù)據(jù)查詢和分析 105
5.1.2  Spark SQL數(shù)據(jù)類(lèi)型與函數(shù)使用 109
5.2  Spark Streaming與實(shí)時(shí)數(shù)據(jù)處理 117
5.2.1  Spark Streaming的基本概念與架構(gòu) 117
5.2.2  Spark Streaming與Kafka的集成與應(yīng)用 122
5.3  Spark MLlib與機(jī)器學(xué)習(xí) 124
5.3.1  Spark MLlib的常用算法與應(yīng)用場(chǎng)景 125
5.3.2  Spark MLlib與TensorFlow的比較與集成 132
5.4  Spark GraphX與圖計(jì)算 134
5.4.1  圖計(jì)算的基本概念與Spark GraphX的架構(gòu) 134
5.4.2  Spark GraphX的常用算法與圖數(shù)據(jù)處理 140
5.5  本章小結(jié) 147
5.6  習(xí)題 147
第6章  大數(shù)據(jù)安全 148
6.1  大數(shù)據(jù)安全性挑戰(zhàn) 148
6.1.1  大數(shù)據(jù)安全的重要性 148
6.1.2  Hadoop與Spark安全特性 149
6.2  Hadoop安全架構(gòu) 151
6.2.1  Hadoop安全模型 152
6.2.2  HDFS與YARN的安全機(jī)制 153
6.3  Spark安全實(shí)踐 155
6.3.1  Spark的安全配置 155
6.3.2  Spark應(yīng)用程序的訪問(wèn)控制 158
6.4  數(shù)據(jù)加密與隱私保護(hù) 164
6.5  身份認(rèn)證與授權(quán) 174
6.6  本章小結(jié) 176
6.7  習(xí)題 176
第3篇  進(jìn)    階
第7章  數(shù)據(jù)采集與清洗 178
7.1  Hadoop數(shù)據(jù)采集 178
7.1.1  數(shù)據(jù)源與采集工具 178
7.1.2  Hadoop數(shù)據(jù)采集流程與案例 181
7.2  Spark數(shù)據(jù)采集 185
7.2.1  Spark數(shù)據(jù)源接入方式 185
7.2.2  Spark數(shù)據(jù)采集的實(shí)踐與優(yōu)化 193
7.3  Hadoop數(shù)據(jù)清洗 197
7.3.1  數(shù)據(jù)清洗的基本概念與策略 197
7.3.2  使用MapReduce進(jìn)行數(shù)據(jù)清洗 198
7.4  Hadoop與Spark數(shù)據(jù)處理對(duì)比 202
7.5  本章小結(jié) 204
7.6  習(xí)題 204
第8章  數(shù)據(jù)存儲(chǔ)與管理 205
8.1  大數(shù)據(jù)存儲(chǔ)架構(gòu) 205
8.1.1  存儲(chǔ)架構(gòu)的演變 205
8.1.2  存儲(chǔ)架構(gòu)選擇指南 207
8.2  存儲(chǔ)格式與壓縮 214
8.2.1  數(shù)據(jù)格式比較 214
8.2.2  壓縮算法分析 216
8.3  數(shù)據(jù)分區(qū)與分桶 217
8.3.1  數(shù)據(jù)分區(qū) 218
8.3.2  數(shù)據(jù)分桶 226
8.4  數(shù)據(jù)倉(cāng)庫(kù)設(shè)計(jì) 229
8.5  本章小結(jié) 231
8.6  習(xí)題 232
第9章  數(shù)據(jù)分析與挖掘 233
9.1  大數(shù)據(jù)分析 233
9.2  數(shù)據(jù)挖掘算法 237
9.2.1  數(shù)據(jù)挖掘算法的分類(lèi)與應(yīng)用場(chǎng)景 237
9.2.2  常見(jiàn)的大數(shù)據(jù)挖掘算法及其實(shí)現(xiàn)原理 239
9.3  特征工程 250
9.3.1  特征提取與構(gòu)建 251
9.3.2  特征類(lèi)型與數(shù)據(jù)分析方法 252
9.4  本章小結(jié) 256
9.5  習(xí)題 257
第10章  實(shí)時(shí)數(shù)據(jù)處理 258
10.1  實(shí)時(shí)處理概念 258
10.1.1  實(shí)時(shí)數(shù)據(jù)處理的定義 258
10.1.2  實(shí)時(shí)數(shù)據(jù)處理與批處理對(duì)比 260
10.2  Spark Streaming 262
10.2.1  DStream概述 263
10.2.2  實(shí)時(shí)數(shù)據(jù)處理模型 266
10.3  實(shí)時(shí)數(shù)據(jù)處理工具比較 271
10.3.1  Spark與Flink對(duì)比分析 271
10.3.2  Kafka實(shí)時(shí)計(jì)算引擎選型實(shí)踐 275
10.4  本章小結(jié) 284
10.5  習(xí)題 284
第4篇  項(xiàng) 目 實(shí) 戰(zhàn)
第11章  一站式數(shù)據(jù)分析系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn) 286
11.1  大數(shù)據(jù)分析系統(tǒng) 286
11.1.1  大數(shù)據(jù)分析系統(tǒng)的價(jià)值 286
11.1.2  大數(shù)據(jù)分析系統(tǒng)的目的 287
11.1.3  大數(shù)據(jù)分析系統(tǒng)的應(yīng)用場(chǎng)景 288
11.2  大數(shù)據(jù)分析系統(tǒng)架構(gòu) 289
11.2.1  大數(shù)據(jù)分析系統(tǒng)的體系架構(gòu) 289
11.2.2  設(shè)計(jì)大數(shù)據(jù)分析系統(tǒng)的核心模塊 291
11.3  實(shí)現(xiàn)大數(shù)據(jù)分析系統(tǒng) 292
11.3.1  數(shù)據(jù)采集 292
11.3.2  數(shù)據(jù)存儲(chǔ) 295
11.3.3  數(shù)據(jù)分析 302
11.3.4  數(shù)據(jù)服務(wù) 304
11.4  本章小結(jié) 306
11.5  習(xí)題 306
第12章  ChatGPT賦能Hadoop與Spark大數(shù)據(jù)分析 307
12.1  ChatGPT與大數(shù)據(jù)的智能融合探索 307
12.1.1  ChatGPT全面解析 307
12.1.2  ChatGPT在大數(shù)據(jù)分析中的角色 313
12.2  構(gòu)建智能化的大數(shù)據(jù)處理引擎 316
12.2.1  ChatGPT與Spark的集成實(shí)現(xiàn) 316
12.2.2  ChatGPT與Spark應(yīng)用案例分析 320
12.3  ChatGPT與Spark數(shù)據(jù)分析與挖掘?qū)嵺` 324
12.3.1  ChatGPT與Spark技術(shù)整合 324
12.3.2  ChatGPT在Spark數(shù)據(jù)分析中的應(yīng)用 326
12.4  本章小結(jié) 328
12.5  習(xí)題 328