Kettle構(gòu)建Hadoop ETL系統(tǒng)實(shí)踐

第1章  ETL與Kettle 1
1.1  ETL基礎(chǔ) 1
1.1.1  數(shù)據(jù)倉(cāng)庫(kù)架構(gòu)中的ETL 1
1.1.2  數(shù)據(jù)抽取 3
1.1.3  數(shù)據(jù)轉(zhuǎn)換 5
1.1.4  數(shù)據(jù)裝載 6
1.1.5  開發(fā)ETL系統(tǒng)的方法 6
1.2  ETL工具 7
1.2.1  ETL工具的產(chǎn)生 7
1.2.2  ETL工具的功能 7
1.3  Kettle基本概念 10
1.3.1  Kettle設(shè)計(jì)原則 11
1.3.2  轉(zhuǎn)換 12
1.3.3  作業(yè) 15
1.3.4  數(shù)據(jù)庫(kù)連接 18
1.3.5  連接與事務(wù) 21
1.3.6  元數(shù)據(jù)與資源庫(kù) 21
1.3.7  工具 22
1.3.8  虛擬文件系統(tǒng) 26
1.4  為什么選擇Kettle 27
1.4.1  主要特性 27
1.4.2  與SQL的比較 27
1.5  小結(jié) 30
第2章  Kettle安裝與配置 31
2.1  安裝 31
2.1.1  確定安裝環(huán)境 31
2.1.2  安裝前準(zhǔn)備 33
2.1.3  安裝運(yùn)行Kettle 41
2.2  配置 43
2.2.1  配置文件和.kettle目錄 44
2.2.2  用于啟動(dòng)Kettle程序的shell腳本 48
2.2.3  管理JDBC驅(qū)動(dòng) 49
2.3  使用資源庫(kù) 50
2.3.1  Kettle資源庫(kù)簡(jiǎn)介 50
2.3.2  創(chuàng)建數(shù)據(jù)庫(kù)資源庫(kù) 50
2.3.3  資源庫(kù)的管理與使用 51
2.4  小結(jié) 55
第3章  Kettle對(duì)Hadoop的支持 56
3.1  Hadoop相關(guān)的步驟與作業(yè)項(xiàng) 56
3.2  連接Hadoop 57
3.2.1  連接Hadoop集群 57
3.2.2  連接Hive 63
3.2.3  連接Impala 64
3.2.4  建立MySQL數(shù)據(jù)庫(kù)連接 66
3.3  導(dǎo)入導(dǎo)出Hadoop集群數(shù)據(jù) 67
3.3.1  向HDFS導(dǎo)入數(shù)據(jù) 67
3.3.2  向Hive導(dǎo)入數(shù)據(jù) 67
3.3.3  從HDFS抽取數(shù)據(jù)到MySQL 68
3.3.4  從Hive抽取數(shù)據(jù)到MySQL 70
3.4  執(zhí)行HiveQL語(yǔ)句 72
3.5  執(zhí)行MapReduce 72
3.5.1  生成聚合數(shù)據(jù)集 72
3.5.2  格式化原始Web日志 77
3.6  執(zhí)行Spark作業(yè) 81
3.6.1  在Kettle主機(jī)上安裝Spark客戶端 81
3.6.2  為Kettle配置Spark 81
3.6.3  提交Spark作業(yè) 82
3.7  小結(jié) 83
第4章  建立ETL示例模型 84
4.1  業(yè)務(wù)場(chǎng)景 84
4.1.1  操作型數(shù)據(jù)源 84
4.1.2  銷售訂單數(shù)據(jù)倉(cāng)庫(kù)模型設(shè)計(jì) 85
4.2  Hive相關(guān)配置 86
4.2.1  選擇文件格式 86
4.2.2  選擇表類型 88
4.2.3  支持行級(jí)更新 92
4.2.4  Hive事務(wù)支持的限制 94
4.3  建立數(shù)據(jù)庫(kù)表 94
4.3.1  源數(shù)據(jù)庫(kù)表 94
4.3.2  RDS庫(kù)表 97
4.3.3  TDS庫(kù)表 98
4.4  裝載日期維度數(shù)據(jù) 100
4.5  小結(jié) 103
第5章  數(shù)據(jù)抽取 104
5.1  Kettle數(shù)據(jù)抽取概覽 104
5.1.1  文件抽取 105
5.1.2  數(shù)據(jù)庫(kù)抽取 116
5.2  變化數(shù)據(jù)捕獲 119
5.2.1  基于源數(shù)據(jù)的CDC 119
5.2.2  基于觸發(fā)器的CDC 125
5.2.3  基于快照的CDC 126
5.2.4  基于日志的CDC 130
5.3  使用Sqoop抽取數(shù)據(jù) 132
5.3.1  Sqoop簡(jiǎn)介 132
5.3.2  使用Sqoop抽取數(shù)據(jù) 134
5.3.3  Sqoop優(yōu)化 137
5.4  小結(jié) 138
第6章  數(shù)據(jù)轉(zhuǎn)換與裝載 139
6.1  數(shù)據(jù)清洗 139
6.1.1  處理“臟數(shù)據(jù)” 139
6.1.2  數(shù)據(jù)清洗原則 140
6.1.3  數(shù)據(jù)清洗實(shí)例 140
6.2  Hive簡(jiǎn)介 146
6.2.1  Hive體系結(jié)構(gòu) 147
6.2.2  Hive工作流程 148
6.2.3  Hive服務(wù)器 149
6.2.4  Hive優(yōu)化 152
6.3  初始裝載 160
6.3.1  系統(tǒng)初始化 162
6.3.2  裝載過渡區(qū) 164
6.3.3  裝載維度表 165
6.3.4  裝載事實(shí)表 167
6.3.5  設(shè)置后裝載日期 168
6.4  定期裝載 168
6.4.1  設(shè)置系統(tǒng)日期 169
6.4.2  裝載過渡區(qū) 169
6.4.3  裝載維度表 169
6.4.4  裝載事實(shí)表 174
6.4.5  設(shè)置后裝載日期 176
6.5  小結(jié) 178
第7章  定期自動(dòng)執(zhí)行ETL作業(yè) 179
7.1  使用crontab 179
7.1.1  crontab權(quán)限 180
7.1.2  crontab命令 180
7.1.3  crontab文件 181
7.1.4  crontab示例 181
7.1.5  crontab環(huán)境 182
7.1.6  重定向輸出 183
7.2  使用Oozie 183
7.2.1  Oozie體系結(jié)構(gòu) 184
7.2.2  CDH 6.3.1中的Oozie 185
7.2.3  建立定期裝載工作流 185
7.2.4  建立協(xié)調(diào)器作業(yè)定期自動(dòng)執(zhí)行工作流 197
7.2.5  在Kettle中執(zhí)行Oozie作業(yè) 200
7.2.6  Oozie優(yōu)化 201
7.3  使用start作業(yè)項(xiàng) 202
7.4  小結(jié) 203
第8章  維度表技術(shù) 205
8.1  增加列 205
8.1.1  修改數(shù)據(jù)庫(kù)模式 206
8.1.2  修改Sqoop作業(yè)項(xiàng) 206
8.1.3  修改定期裝載維度表的轉(zhuǎn)換 207
8.1.4  修改定期裝載事實(shí)表的轉(zhuǎn)換 210
8.1.5  測(cè)試 210
8.2  維度子集 211
8.2.1  建立包含屬性子集的子維度 212
8.2.2  建立包含行子集的子維度 214
8.2.3  使用視圖實(shí)現(xiàn)維度子集 216
8.3  角色扮演維度 217
8.3.1  修改數(shù)據(jù)庫(kù)模式 217
8.3.2  修改Kettle定期裝載作業(yè) 218
8.3.3  測(cè)試 220
8.3.4  一種有問題的設(shè)計(jì) 223
8.4  層次維度 224
8.4.1  固定深度的層次 224
8.4.2  多路徑層次 228
8.4.3  參差不齊的層次 229
8.4.4  遞歸 230
8.5  退化維度 238
8.5.1  退化訂單維度 239
8.5.2  修改定期裝載腳本 241
8.5.3  測(cè)試修改后的定期裝載 241
8.6  雜項(xiàng)維度 242
8.6.1  新增銷售訂單屬性雜項(xiàng)維度 245
8.6.2  修改定期裝載Kettle作業(yè) 246
8.6.3  測(cè)試修改后的定期裝載 247
8.7  維度合并 248
8.7.1  修改數(shù)據(jù)倉(cāng)庫(kù)模式 249
8.7.2  初始裝載事實(shí)表 251
8.7.3  修改定期裝載Kettle作業(yè) 253
8.7.4  測(cè)試修改后的定期裝載 254
8.8  分段維度 255
8.8.1  年度銷售訂單星型模式 256
8.8.2  初始裝載 258
8.8.3  定期裝載 260
8.9  小結(jié) 261
第9章  事實(shí)表技術(shù) 262
9.1  事實(shí)表概述 262
9.2  周期快照 263
9.2.1  修改數(shù)據(jù)倉(cāng)庫(kù)模式 263
9.2.2  創(chuàng)建快照表數(shù)據(jù)裝載Kettle轉(zhuǎn)換 265
9.3  累積快照 267
9.3.1  修改數(shù)據(jù)庫(kù)模式 268
9.3.2  修改增量抽取銷售訂單表的Kettle轉(zhuǎn)換 270
9.3.3  修改定期裝載銷售訂單事實(shí)表的Kettle轉(zhuǎn)換 270
9.3.4  修改定期裝載Kettle作業(yè) 271
9.3.5  測(cè)試 274
9.4  無事實(shí)的事實(shí)表 276
9.4.1  建立新產(chǎn)品發(fā)布的無事實(shí)的事實(shí)表 277
9.4.2  初始裝載無事實(shí)的事實(shí)表 278
9.4.3  修改定期裝載Kettle作業(yè) 280
9.4.4  測(cè)試定期裝載作業(yè) 281
9.5  遲到的事實(shí) 281
9.5.1  修改數(shù)據(jù)倉(cāng)庫(kù)模式 282
9.5.2  修改定期裝載Kettle轉(zhuǎn)換 282
9.5.3  修改裝載月銷售周期快照事實(shí)表的作業(yè) 283
9.5.4  測(cè)試 286
9.6  累積度量 289
9.6.1  修改模式 289
9.6.2  初始裝載 290
9.6.3  定期裝載 291
9.6.4  測(cè)試定期裝載 292
9.6.5  查詢 294
9.7  小結(jié) 295
第10章  并行、集群與分區(qū) 296
10.1  數(shù)據(jù)分發(fā)方式與多線程 296
10.1.1  數(shù)據(jù)行分發(fā) 297
10.1.2  記錄行合并 298
10.1.3  記錄行再分發(fā) 299
10.1.4  數(shù)據(jù)流水線 301
10.1.5  多線程的問題 301
10.1.6  作業(yè)中的并行執(zhí)行 302
10.2  Carte子服務(wù)器 303
10.2.1  創(chuàng)建Carte子服務(wù)器 303
10.2.2  定義子服務(wù)器 304
10.2.3  遠(yuǎn)程執(zhí)行 304
10.2.4  監(jiān)視子服務(wù)器 306
10.2.5  Carte安全 306
10.2.6  服務(wù) 307
10.3  集群轉(zhuǎn)換 308
10.3.1  定義一個(gè)靜態(tài)集群 308
10.3.2  設(shè)計(jì)集群轉(zhuǎn)換 310
10.3.3  執(zhí)行和監(jiān)控 310
10.3.4  元數(shù)據(jù)轉(zhuǎn)換 312
10.3.5  配置動(dòng)態(tài)集群 313
10.4  數(shù)據(jù)庫(kù)分區(qū) 315
10.4.1  在數(shù)據(jù)庫(kù)連接中使用集群 315
10.4.2  創(chuàng)建數(shù)據(jù)庫(kù)分區(qū)schemas 317
10.4.3  啟用數(shù)據(jù)庫(kù)分區(qū) 318
10.4.4  數(shù)據(jù)庫(kù)分區(qū)示例 319
10.4.5  集群轉(zhuǎn)換中的分區(qū) 321
10.5  小結(jié) 322