Hadoop大數(shù)據(jù)技術(shù)項目化教程

項目 1? 云計算和大數(shù)據(jù)基礎(chǔ)概論 …………………………………………………………… 1
任務(wù) 1 認識云計算 ……………………………………………………………………… 1
任務(wù) 2 云計算中的虛擬化技術(shù) ………………………………………………………… 7
任務(wù) 3 云計算與大數(shù)據(jù) …………………………………………………………………13
任務(wù) 4 大數(shù)據(jù)的技術(shù)架構(gòu) ………………………………………………………………16
任務(wù) 5 大數(shù)據(jù)的應(yīng)用前景 ………………………………………………………………18
任務(wù) 6 大數(shù)據(jù)的發(fā)展歷程及其面臨的挑戰(zhàn) ……………………………………………22
項目 2? CentOS 的安裝與網(wǎng)絡(luò)配置 ……………………………………………………… 27
任務(wù) 1 Linux 操作系統(tǒng)概述 ……………………………………………………………27
任務(wù) 2 使用 VMware 虛擬機安裝 CentOS ……………………………………………32
任務(wù) 3 CentOS 網(wǎng)絡(luò)環(huán)境配置 …………………………………………………………54
任務(wù) 4 yum 源設(shè)置及使用 ………………………………………………………………62
項目 3? MPI 集群部署及應(yīng)用 ……………………………………………………………… 72
任務(wù) 1 NTP 時間同步設(shè)置 ……………………………………………………………72
任務(wù) 2 SSH 證書登錄……………………………………………………………………78
任務(wù) 3 使用 NFS 設(shè)置共享目錄 ………………………………………………………82
任務(wù) 4 MPI 的安裝及測試 ………………………………………………………………86
任務(wù) 5 MPI 編程實戰(zhàn) ……………………………………………………………………91
項目 4? Hadoop 集群部署及應(yīng)用 ………………………………………………………… 100
任務(wù) 1 Hadoop 集群部署前的準(zhǔn)備工作 …………………………………………… 100
任務(wù) 2 Hadoop 的安裝 ……………………………………………………………… 106
任務(wù) 3 Hadoop 偽分布式部署及應(yīng)用 ……………………………………………… 110
任務(wù) 4 Hadoop 分布式部署及應(yīng)用 ………………………………………………… 114
項目 5? MapReduce 基本原理及應(yīng)用 …………………………………………………… 122
任務(wù) 1 MapReduce 工作原理及工作流程 …………………………………………… 122
任務(wù) 2 詞頻統(tǒng)計編程實踐 …………………………………………………………… 125
任務(wù) 3 數(shù)據(jù)合并去重編程實踐 ……………………………………………………… 136
任務(wù) 4 數(shù)據(jù)排序編程實踐 …………………………………………………………… 140
項目 6? HBase 數(shù)據(jù)庫的搭建及使用 …………………………………………………… 146
任務(wù) 1 HBase 安裝及偽分布式部署 ………………………………………………… 146
任務(wù) 2 HBase 完全分布式部署 ……………………………………………………… 150
任務(wù) 3 HBase 操作實踐 ……………………………………………………………… 156
任務(wù) 4 HBase 編程實踐 ……………………………………………………………… 163
項目 7? Hive 數(shù)據(jù)倉庫的安裝及應(yīng)用 …………………………………………………… 175
任務(wù) 1 Hive 基本概念………………………………………………………………… 175
任務(wù) 2 Hive 安裝及部署……………………………………………………………… 178
任務(wù) 3 Hive 基本命令和應(yīng)用………………………………………………………… 190
項目 8? Pig 數(shù)據(jù)分析 ……………………………………………………………………… 208
任務(wù) 1 Pig 基本概念 ………………………………………………………………… 208
任務(wù) 2 Pig 安裝及部署 ……………………………………………………………… 211
任務(wù) 3 Pig 命令語法和使用 ………………………………………………………… 216
任務(wù) 4 Pig 簡單編程 ………………………………………………………………… 235
項目 9? Sqoop 數(shù)據(jù)遷移…………………………………………………………………… 244
任務(wù) 1 Sqoop 基本概念 ……………………………………………………………… 244
任務(wù) 2 Sqoop 安裝及部署 …………………………………………………………… 247
任 務(wù) 3 利 用 Sqoop 工具實現(xiàn) MySQL 與
HDFS 之間數(shù)據(jù)遷移 …………………………………………………………………… 254
任務(wù) 4 利用 Sqoop 工具實現(xiàn) MySQL 與 Hive/HBase 之間數(shù)據(jù)遷移……………… 265
項目 10? Flume 日志收集系統(tǒng) …………………………………………………………… 278
任務(wù) 1 Flume 系統(tǒng)概述 ……………………………………………………………… 278
任務(wù) 2 Flume 安裝和部署 …………………………………………………………… 282
任務(wù) 3 Flume 應(yīng)用案例 ……………………………………………………………… 291
項目 11? Spark 部署及數(shù)據(jù)分析 ………………………………………………………… 305
任務(wù) 1 Spark 基本概念 ……………………………………………………………… 305
任務(wù) 2 Spark 安裝及部署 …………………………………………………………… 308
任務(wù) 3 Spark 數(shù)據(jù)分析 ……………………………………………………………… 317
任務(wù) 4 Spark 應(yīng)用案例 ……………………………………………………………… 332
項目 12? 大數(shù)據(jù)技術(shù)編程實例 …………………………………………………………… 347
任務(wù) 1 能耗數(shù)據(jù)分析及處理 ………………………………………………………… 347
任務(wù) 2 餐飲大數(shù)據(jù)分析及處理 ……………………………………………………… 360
參考文獻……………………………………………………………………………………… 371