123,123

內(nèi)容簡(jiǎn)介

　　本書(shū)作為 Hadoop 大數(shù)據(jù)技術(shù)的項(xiàng)目化實(shí)戰(zhàn)教材，以任務(wù)驅(qū)動(dòng)為導(dǎo)向，深入淺出地介紹了 Hadoop 及其周邊框架的應(yīng)用，涵蓋了當(dāng)前 Hadoop 生態(tài)系統(tǒng)中的主流大數(shù)據(jù)技術(shù)。全書(shū)共 12 個(gè)項(xiàng)目，包括云計(jì)算和大數(shù)據(jù)基礎(chǔ)概論、CentOS 的安裝與網(wǎng)絡(luò)配置、MPI 集群部署及應(yīng)用、Hadoop 集群部署及應(yīng)用、MapReduce 基本原理及應(yīng)用、HBase 數(shù)據(jù)庫(kù)的搭建及使用、Hive 數(shù)據(jù)倉(cāng)庫(kù)的安裝及應(yīng)用、Pig 數(shù)據(jù)分析、Sqoop 數(shù)據(jù)遷移、Flume 日志收集系統(tǒng)、Spark 部署及數(shù)據(jù)分析、大數(shù)據(jù)技術(shù)編程實(shí)例。本書(shū)秉承“實(shí)踐為主、理論夠用、注重實(shí)用”原則，在任務(wù)實(shí)施中融入各個(gè)知識(shí)點(diǎn)與課程教學(xué)內(nèi)容，以便讀者能更好地學(xué)習(xí)和掌握大數(shù)據(jù)關(guān)鍵技術(shù)。本書(shū)既可以作為高職高專院校和應(yīng)用型本科院校計(jì)算機(jī)相關(guān)專業(yè)的教材，還可以作為 IT 類培訓(xùn)機(jī)構(gòu)培訓(xùn)云計(jì)算和大數(shù)據(jù)技術(shù)等相關(guān)課程的實(shí)訓(xùn)教材，并可以作為相關(guān)技術(shù)人員的參考書(shū)。

作者簡(jiǎn)介

　　石慧，在汕尾職業(yè)技術(shù)學(xué)院擔(dān)任專職教師。現(xiàn)任大數(shù)據(jù)技術(shù)與應(yīng)用專業(yè)教研室主任，中國(guó)人工智能教育聯(lián)盟委員會(huì)委員，汕尾市市場(chǎng)監(jiān)督管理局（知識(shí)產(chǎn)權(quán)局）入庫(kù)專家，汕尾市計(jì)算機(jī)學(xué)會(huì)會(huì)員，汕尾市創(chuàng)新工業(yè)設(shè)計(jì)研究院技術(shù)員。2002-2006年就讀于中國(guó)地質(zhì)大學(xué)（武漢）計(jì)算機(jī)學(xué)院，信息安全專業(yè)，獲工學(xué)學(xué)士學(xué)位；2006-2009年就讀于中國(guó)地質(zhì)大學(xué)（武漢）計(jì)算機(jī)學(xué)院，計(jì)算機(jī)軟件與理論專業(yè)，獲工學(xué)碩士學(xué)位。

圖書(shū)目錄

項(xiàng)目 1? 云計(jì)算和大數(shù)據(jù)基礎(chǔ)概論 …………………………………………………………… 1
任務(wù) 1 認(rèn)識(shí)云計(jì)算 ……………………………………………………………………… 1
任務(wù) 2 云計(jì)算中的虛擬化技術(shù) ………………………………………………………… 7
任務(wù) 3 云計(jì)算與大數(shù)據(jù) …………………………………………………………………13
任務(wù) 4 大數(shù)據(jù)的技術(shù)架構(gòu) ………………………………………………………………16
任務(wù) 5 大數(shù)據(jù)的應(yīng)用前景 ………………………………………………………………18
任務(wù) 6 大數(shù)據(jù)的發(fā)展歷程及其面臨的挑戰(zhàn) ……………………………………………22
項(xiàng)目 2? CentOS 的安裝與網(wǎng)絡(luò)配置 ……………………………………………………… 27
任務(wù) 1 Linux 操作系統(tǒng)概述 ……………………………………………………………27
任務(wù) 2 使用 VMware 虛擬機(jī)安裝 CentOS ……………………………………………32
任務(wù) 3 CentOS 網(wǎng)絡(luò)環(huán)境配置 …………………………………………………………54
任務(wù) 4 yum 源設(shè)置及使用 ………………………………………………………………62
項(xiàng)目 3? MPI 集群部署及應(yīng)用 ……………………………………………………………… 72
任務(wù) 1 NTP 時(shí)間同步設(shè)置 ……………………………………………………………72
任務(wù) 2 SSH 證書(shū)登錄……………………………………………………………………78
任務(wù) 3 使用 NFS 設(shè)置共享目錄 ………………………………………………………82
任務(wù) 4 MPI 的安裝及測(cè)試 ………………………………………………………………86
任務(wù) 5 MPI 編程實(shí)戰(zhàn) ……………………………………………………………………91
項(xiàng)目 4? Hadoop 集群部署及應(yīng)用 ………………………………………………………… 100
任務(wù) 1 Hadoop 集群部署前的準(zhǔn)備工作 …………………………………………… 100
任務(wù) 2 Hadoop 的安裝 ……………………………………………………………… 106
任務(wù) 3 Hadoop 偽分布式部署及應(yīng)用 ……………………………………………… 110
任務(wù) 4 Hadoop 分布式部署及應(yīng)用 ………………………………………………… 114
項(xiàng)目 5? MapReduce 基本原理及應(yīng)用 …………………………………………………… 122
任務(wù) 1 MapReduce 工作原理及工作流程 …………………………………………… 122
任務(wù) 2 詞頻統(tǒng)計(jì)編程實(shí)踐 …………………………………………………………… 125
任務(wù) 3 數(shù)據(jù)合并去重編程實(shí)踐 ……………………………………………………… 136
任務(wù) 4 數(shù)據(jù)排序編程實(shí)踐 …………………………………………………………… 140
項(xiàng)目 6? HBase 數(shù)據(jù)庫(kù)的搭建及使用 …………………………………………………… 146
任務(wù) 1 HBase 安裝及偽分布式部署 ………………………………………………… 146
任務(wù) 2 HBase 完全分布式部署 ……………………………………………………… 150
任務(wù) 3 HBase 操作實(shí)踐 ……………………………………………………………… 156
任務(wù) 4 HBase 編程實(shí)踐 ……………………………………………………………… 163
項(xiàng)目 7? Hive 數(shù)據(jù)倉(cāng)庫(kù)的安裝及應(yīng)用 …………………………………………………… 175
任務(wù) 1 Hive 基本概念………………………………………………………………… 175
任務(wù) 2 Hive 安裝及部署……………………………………………………………… 178
任務(wù) 3 Hive 基本命令和應(yīng)用………………………………………………………… 190
項(xiàng)目 8? Pig 數(shù)據(jù)分析 ……………………………………………………………………… 208
任務(wù) 1 Pig 基本概念 ………………………………………………………………… 208
任務(wù) 2 Pig 安裝及部署 ……………………………………………………………… 211
任務(wù) 3 Pig 命令語(yǔ)法和使用 ………………………………………………………… 216
任務(wù) 4 Pig 簡(jiǎn)單編程 ………………………………………………………………… 235
項(xiàng)目 9? Sqoop 數(shù)據(jù)遷移…………………………………………………………………… 244
任務(wù) 1 Sqoop 基本概念 ……………………………………………………………… 244
任務(wù) 2 Sqoop 安裝及部署 …………………………………………………………… 247
任務(wù) 3 利用 Sqoop 工具實(shí)現(xiàn) MySQL 與
HDFS 之間數(shù)據(jù)遷移 …………………………………………………………………… 254
任務(wù) 4 利用 Sqoop 工具實(shí)現(xiàn) MySQL 與 Hive/HBase 之間數(shù)據(jù)遷移……………… 265
項(xiàng)目 10? Flume 日志收集系統(tǒng) …………………………………………………………… 278
任務(wù) 1 Flume 系統(tǒng)概述 ……………………………………………………………… 278
任務(wù) 2 Flume 安裝和部署 …………………………………………………………… 282
任務(wù) 3 Flume 應(yīng)用案例 ……………………………………………………………… 291
項(xiàng)目 11? Spark 部署及數(shù)據(jù)分析 ………………………………………………………… 305
任務(wù) 1 Spark 基本概念 ……………………………………………………………… 305
任務(wù) 2 Spark 安裝及部署 …………………………………………………………… 308
任務(wù) 3 Spark 數(shù)據(jù)分析 ……………………………………………………………… 317
任務(wù) 4 Spark 應(yīng)用案例 ……………………………………………………………… 332
項(xiàng)目 12? 大數(shù)據(jù)技術(shù)編程實(shí)例 …………………………………………………………… 347
任務(wù) 1 能耗數(shù)據(jù)分析及處理 ………………………………………………………… 347
任務(wù) 2 餐飲大數(shù)據(jù)分析及處理 ……………………………………………………… 360
參考文獻(xiàn)……………………………………………………………………………………… 371