Hadoop簡明教程

前言第1章Hadoop概述1.1大數(shù)據(jù)簡介1.2Hadoop簡介1.3Hadoop特性1.4Hadoop核心組件1.4.1HDFS1.4.2MapReduce1.4.3YARN1.5Hadoop生態(tài)系統(tǒng)1.5.1HBase1.5.2Hive1.5.3Pig1.5.4Spark1.5.5ZooKeeper1.5.6Sqoop1.5.7Flume1.5.8Mahout1.5.9Ambari1.6本章小結(jié)習(xí)題第2章Hadoop偽分布式安裝2.1Linux操作系統(tǒng)2.1.1概述2.1.2Linux的組成2.1.3Linux的內(nèi)核版本與發(fā)行版本2.1.4Linux基本命令2.2CentOS的安裝2.2.1安裝VMware Workstation2.2.2在VMware上安裝CentOS 72.2.3配置CentOS 72.3Hadoop偽分布式安裝與配置2.3.1安裝WinSCP2.3.2安裝JDK2.3.3安裝Hadoop2.4本章小結(jié)習(xí)題實(shí)驗(yàn)Hadoop偽分布式安裝與配置第3章Hadoop分布式文件系統(tǒng)HDFS3.1HDFS的架構(gòu)和原理3.1.1計(jì)算機(jī)集群結(jié)構(gòu)3.1.2HDFS的假設(shè)前提和設(shè)計(jì)目標(biāo)3.1.3HDFS的相關(guān)概念3.1.4HDFS體系結(jié)構(gòu)3.1.5HDFS存儲(chǔ)原理3.2HDFS Shell3.3HDFS Java API3.3.1搭建Linux操作系統(tǒng)下的Eclipse開發(fā)環(huán)境3.3.2HDFS Java API常用的類3.3.3HDFS Java API 編程3.4本章小結(jié)習(xí)題實(shí)驗(yàn)HDFS基本命令的使用和HDFS的Java編程第4章分布式計(jì)算框架MapReduce4.1認(rèn)識(shí)MapReduce4.1.1分布式并行編程4.1.2MapReduce核心思想4.1.3MapReduce運(yùn)行環(huán)境4.1.4Hadoop內(nèi)置數(shù)據(jù)類型4.2MapReduce工作流程4.2.1MapReduce工作流程概述4.2.2Shuffle過程分析4.3MapReduce入門示例：WordCount4.3.1WordCount程序任務(wù)4.3.2準(zhǔn)備被統(tǒng)計(jì)的文件4.3.3WordCount執(zhí)行過程分析4.3.4WordCount編程實(shí)踐4.4MapReduce應(yīng)用實(shí)例4.4.1求平均值4.4.2簡單查詢功能的實(shí)現(xiàn)4.5本章小結(jié)習(xí)題實(shí)驗(yàn)簡單排序的實(shí)現(xiàn)第5章分布式數(shù)據(jù)庫HBase5.1概述5.1.1BigTable簡介5.1.2HBase簡介5.1.3HBase具有的特點(diǎn)5.2HBase數(shù)據(jù)模型5.2.1數(shù)據(jù)模型概述5.2.2數(shù)據(jù)模型的相關(guān)概念5.3HBase系統(tǒng)架構(gòu)5.4HBase偽分布式安裝5.4.1安裝并配置環(huán)境變量5.4.2配置HBase參數(shù)5.4.3驗(yàn)證HBase5.5HBase Shell5.5.1HBase Shell常用命令5.5.2HBase Shell應(yīng)用實(shí)例5.6HBase Java API5.6.1HBase Java API 簡介5.6.2HBase Java API 編程5.7本章小結(jié)習(xí)題實(shí)驗(yàn)HBase編程實(shí)踐第6章數(shù)據(jù)倉庫Hive6.1概述6.1.1數(shù)據(jù)倉庫簡介6.1.2Hive簡介6.1.3Hive與關(guān)系型數(shù)據(jù)庫的區(qū)別6.1.4Hive系統(tǒng)架構(gòu)6.2Hive偽分布式安裝6.2.1MySQL的安裝和配置6.2.2Hive的安裝和配置6.3Hive編程基礎(chǔ)6.3.1Hive的數(shù)據(jù)類型6.3.2數(shù)據(jù)庫相關(guān)操作6.3.3表相關(guān)操作6.3.4表中數(shù)據(jù)的加載6.3.5HiveQL基本查詢6.3.6Hive函數(shù)6.4Hive編程實(shí)例6.4.1雇員表統(tǒng)計(jì)6.4.2詞頻統(tǒng)計(jì)6.5本章小結(jié)習(xí)題實(shí)驗(yàn)Hive的編程實(shí)踐第7章內(nèi)存計(jì)算框架Spark7.1Spark基礎(chǔ)知識(shí)7.1.1Spark簡介7.1.2Spark生態(tài)系統(tǒng)7.1.3Spark運(yùn)行架構(gòu)7.2Scala基礎(chǔ)知識(shí)7.2.1Scala簡介7.2.2Scala安裝7.2.3Scala編程7.3Spark偽分布式安裝7.3.1Spark的安裝模式7.3.2Spark的安裝7.4RDD編程基礎(chǔ)7.4.1Spark Shell的啟動(dòng)和退出7.4.2RDD創(chuàng)建7.4.3常用的RDD操作7.4.4RDD編程實(shí)例7.5IDEA的安裝和使用7.5.1IDEA的安裝7.5.2IDEA的使用7.5.3獨(dú)立應(yīng)用程序?qū)嵗?.6本章小結(jié)習(xí)題實(shí)驗(yàn)Spark Shell交互式編程參考文獻(xiàn)