云計(jì)算與大數(shù)據(jù)技術(shù)

目錄
第1章云計(jì)算概論

1.1什么是云計(jì)算

1.2云計(jì)算的產(chǎn)生背景

1.3云計(jì)算的發(fā)展歷史

1.4如何學(xué)好云計(jì)算

習(xí)題

第2章云計(jì)算基礎(chǔ)

2.1分布式計(jì)算

2.2云計(jì)算的基本概念

2.3云計(jì)算的關(guān)鍵技術(shù)

2.3.1分布式海量數(shù)據(jù)存儲(chǔ)

2.3.2虛擬化技術(shù)

2.3.3云平臺(tái)技術(shù)

2.3.4并行編程技術(shù)

2.3.5數(shù)據(jù)管理技術(shù)

2.4云交付模型

2.4.1軟件即服務(wù)

2.4.2平臺(tái)即服務(wù)

2.4.3基礎(chǔ)設(shè)施即服務(wù)

2.4.4基本云交付模型的比較

2.4.5容器即服務(wù)

2.5云部署模式

2.5.1公有云

2.5.2私有云

2.5.3混合云

2.6云計(jì)算的優(yōu)勢(shì)與挑戰(zhàn)

2.7典型云應(yīng)用

2.7.1云存儲(chǔ)

2.7.2云服務(wù)

2.7.3云物聯(lián)

2.8云計(jì)算與大數(shù)據(jù)

習(xí)題

第3章虛擬化

3.1虛擬化簡(jiǎn)介

3.1.1什么是虛擬化

3.1.2虛擬化的發(fā)展歷史

3.1.3虛擬化帶來的好處

3.2虛擬化的分類

3.2.1服務(wù)器虛擬化

3.2.2網(wǎng)絡(luò)虛擬化

3.2.3存儲(chǔ)虛擬化

3.2.4應(yīng)用虛擬化

3.2.5技術(shù)比較

3.3系統(tǒng)虛擬化

3.4虛擬化與云計(jì)算

3.5開源技術(shù)

3.5.1Xen

3.5.2KVM

3.5.3OpenVZ

3.6虛擬化未來發(fā)展趨勢(shì)

習(xí)題

第4章云計(jì)算的應(yīng)用

4.1概述

4.2Google公司的云計(jì)算平臺(tái)與應(yīng)用

4.2.1MapReduce分布式編程環(huán)境

4.2.2分布式大規(guī)模數(shù)據(jù)庫管理系統(tǒng)BigTable

4.2.3Google的云應(yīng)用

4.3亞馬遜的彈性計(jì)算云

4.3.1開放的服務(wù)

4.3.2靈活的工作模式

4.3.3總結(jié)

4.4IBM藍(lán)云云計(jì)算平臺(tái)

4.4.1藍(lán)云云計(jì)算平臺(tái)中的虛擬化

4.4.2藍(lán)云云計(jì)算平臺(tái)中的存儲(chǔ)結(jié)構(gòu)

4.5清華大學(xué)透明計(jì)算平臺(tái)

4.6阿里云

4.6.1阿里云簡(jiǎn)介

4.6.2阿里云的發(fā)展過程

4.6.3阿里云的主要產(chǎn)品

4.7Microsoft Azure

4.7.1Microsoft Azure簡(jiǎn)介

4.7.2Microsoft Azure架構(gòu)

4.7.3Microsoft Azure服務(wù)平臺(tái)

4.7.4開發(fā)步驟

習(xí)題

第5章大數(shù)據(jù)概念和發(fā)展背景

5.1什么是大數(shù)據(jù)

5.2大數(shù)據(jù)的特點(diǎn)

5.3大數(shù)據(jù)發(fā)展

5.4大數(shù)據(jù)應(yīng)用

習(xí)題

第6章大數(shù)據(jù)系統(tǒng)架構(gòu)概述

6.1總體架構(gòu)概述

6.1.1總體架構(gòu)設(shè)計(jì)原則

6.1.2總體架構(gòu)參考模型

6.2運(yùn)行架構(gòu)概述

6.2.1物理架構(gòu)

6.2.2集成架構(gòu)

6.2.3安全架構(gòu)

6.3主流大數(shù)據(jù)系統(tǒng)廠商

6.3.1Cloudera

6.3.2Hortonworks

6.3.3Amazon

6.3.4Google

6.3.5微軟

6.3.6阿里云數(shù)加平臺(tái)

習(xí)題

第7章分布式通信與協(xié)同

7.1數(shù)據(jù)編碼傳輸

7.1.1數(shù)據(jù)編碼概述

7.1.2LZSS算法

7.1.3Snappy壓縮庫

7.2分布式通信系統(tǒng)

7.2.1遠(yuǎn)程過程調(diào)用

7.2.2消息隊(duì)列

7.2.3應(yīng)用層多播通信

7.2.4Hadoop IPC應(yīng)用

7.3分布式協(xié)同系統(tǒng)

7.3.1Chubby鎖服務(wù)

7.3.2ZooKeeper

7.3.3ZooKeeper在HDFS高可用中使用

習(xí)題

第8章大數(shù)據(jù)存儲(chǔ)

8.1大數(shù)據(jù)存儲(chǔ)技術(shù)發(fā)展

8.2海量數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù)

8.2.1數(shù)據(jù)分片與路由

8.2.2數(shù)據(jù)復(fù)制與一致性

8.3重要數(shù)據(jù)結(jié)構(gòu)和算法

8.3.1Bloom Filter

8.3.2LSM樹

8.3.3Merkle哈希樹

8.3.4Cuckoo哈希

8.4分布式文件系統(tǒng)

8.4.1文件存儲(chǔ)格式

8.4.2Google文件系統(tǒng)

8.4.3HDFS

8.5分布式數(shù)據(jù)庫NoSQL

8.5.1NoSQL數(shù)據(jù)庫概述

8.5.2KV數(shù)據(jù)庫

8.5.3列式數(shù)據(jù)庫

8.5.4圖數(shù)據(jù)庫

8.5.5文檔數(shù)據(jù)庫

8.6HBase數(shù)據(jù)庫搭建與使用

8.6.1HBase偽分布式運(yùn)行

8.6.2HBase分布式運(yùn)行

8.7大數(shù)據(jù)存儲(chǔ)技術(shù)趨勢(shì)

習(xí)題

第9章分布式處理

9.1CPU多核和POSIX Thread

9.2MPI并行計(jì)算框架

9.3Hadoop MapReduce

9.4Spark

9.5數(shù)據(jù)處理技術(shù)發(fā)展

習(xí)題

第10章Hadoop MapReduce解析

10.1Hadoop MapReduce架構(gòu)

10.2Hadoop MapReduce與高性能計(jì)算、網(wǎng)格計(jì)算的區(qū)別

10.3MapReduce工作機(jī)制

10.3.1Map

10.3.2Reduce

10.3.3Combine

10.3.4Shuffle

10.3.5Speculative Task

10.3.6任務(wù)容錯(cuò)

10.4應(yīng)用案例

10.4.1WordCount

10.4.2WordMean

10.4.3Grep

10.5MapReduce的缺陷與不足

習(xí)題

第11章Spark解析

11.1Spark RDD

11.2Spark與MapReduce對(duì)比

11.3Spark工作機(jī)制

11.3.1DAG工作圖

11.3.2Partition

11.3.3Lineage容錯(cuò)方法

11.3.4內(nèi)存管理

11.3.5數(shù)據(jù)持久化

11.4數(shù)據(jù)讀取

11.4.1HDFS

11.4.2Amazon S3

11.4.3HBase

11.5應(yīng)用案例

11.5.1日志挖掘

11.5.2判別西瓜好壞

11.6Spark發(fā)展趨勢(shì)

習(xí)題

第12章流計(jì)算

12.1流計(jì)算概述

12.2流計(jì)算與批處理系統(tǒng)對(duì)比

12.3Storm流計(jì)算系統(tǒng)

12.4Samza流計(jì)算系統(tǒng)

12.5集群日志文件實(shí)時(shí)分析

12.6流計(jì)算發(fā)展趨勢(shì)

習(xí)題

第13章集群資源管理與調(diào)度

13.1集群資源統(tǒng)一管理系統(tǒng)

13.1.1集群資源管理概述

13.1.2Apache YARN

13.1.3Apache Mesos

13.1.4Google Omega

13.2資源管理模型

13.2.1基于slot的資源表示模型

13.2.2基于最大、最小公平原則的資源分配模型

13.3資源調(diào)度策略

13.3.1調(diào)度策略概述

13.3.2Capacity Scheduler調(diào)度

13.3.3Fair Scheduler調(diào)度

13.4YARN上運(yùn)行計(jì)算框架

13.4.1MapReduce on YARN

13.4.2Spark on YARN

13.4.3YARN程序設(shè)計(jì)

習(xí)題

第14章綜合實(shí)踐： 在OpenStack平臺(tái)上搭建Hadoop并進(jìn)行數(shù)據(jù)分析

14.1OpenStack簡(jiǎn)介

14.2OpenStack的安裝及配置

14.2.1OpenStack安裝準(zhǔn)備

14.2.2OpenStack在線安裝

14.2.3搭建OpenStack中的虛擬機(jī)

14.3大數(shù)據(jù)環(huán)境安裝

14.3.1Java安裝

14.3.2Hadoop安裝

14.4大數(shù)據(jù)分析案例

14.4.1日志分析

14.4.2電商購買記錄分析

14.4.3交通流量分析

參考文獻(xiàn)