大數(shù)據(jù)導論

第1章 大數(shù)據(jù)概述 1
1．1　什么是大數(shù)據(jù)　1
1．1．1　大數(shù)據(jù)的來源　1
1．1．2　大數(shù)據(jù)的定義　5
1．1．3　從信息技術(shù)（IT）轉(zhuǎn)向數(shù)據(jù)
技術(shù)（DT）　5
1．2　大數(shù)據(jù)的數(shù)據(jù)特征及對科學研究的
影響　7
1．2．1　大數(shù)據(jù)的數(shù)據(jù)特征　7
1．2．2　大數(shù)據(jù)對科學研究的影響　8
1．3　大數(shù)據(jù)的數(shù)據(jù)類型　11
1．4　大數(shù)據(jù)的價值及相關技術(shù)　13
1．4．1　大數(shù)據(jù)的可用性及衍生
價值　13
1．4．2　大數(shù)據(jù)存儲及處理技術(shù)　14
1．5　大數(shù)據(jù)的發(fā)展趨勢　15
習題　16
第2章　大數(shù)據(jù)與云計算　17
2．1　云計算概述　17
2．1．1　云計算的提出　17
2．1．2　云計算的定義　18
2．1．3　云計算的概念模型　19
2．1．4　云計算的特點　20
2．2　云計算的主要部署模式　21
2．2．1　公有云　22
2．2．2　私有云　22
2．2．3　混合云　23
2．3　云計算的主要服務模式　24
2．3．1　基礎設施即服務（IaaS）　24
2．3．2　平臺即服務（PaaS）　26
2．3．3　軟件即服務（SaaS）　26
2．3．4　3種服務模式之間的關系　27
2．4　云計算與大數(shù)據(jù)體系架構(gòu)的關系　28
2．4．1　云計算基礎設施—
Google平臺　28
2．4．2　大數(shù)據(jù)基礎設施—
Hadoop平臺　29
2．5　物聯(lián)網(wǎng)、大數(shù)據(jù)和云計算之間的
關系　30
2．5．1　認識物聯(lián)網(wǎng)　31
2．5．2　邊緣計算　31
2．5．3　霧計算　33
2．5．4　大數(shù)據(jù)和云計算之間的
關系　33
習題　34
第3章　從產(chǎn)業(yè)結(jié)構(gòu)來探索大數(shù)據(jù)技術(shù)　35
3．1　大數(shù)據(jù)產(chǎn)業(yè)結(jié)構(gòu)概述　35
3．2　大數(shù)據(jù)的解決方案　37
3．2．1　大數(shù)據(jù)的產(chǎn)生、采集與處理
方式　37
3．2．2　大數(shù)據(jù)處理的基本流程及
相應技術(shù)　40
3．3　大數(shù)據(jù)采集技術(shù)　43
3．3．1　大數(shù)據(jù)采集概述　43
3．3．2　日志采集系統(tǒng)—Flume　44
3．3．3　消息采集系統(tǒng)—Kafka　46
3．3．4　Scrapy網(wǎng)絡爬蟲框架　47
3．4　大數(shù)據(jù)預處理技術(shù)　50
3．4．1　數(shù)據(jù)預處理　50
3．4．2　數(shù)據(jù)清洗　51
3．4．3　數(shù)據(jù)集成　53
3．4．4　數(shù)據(jù)歸約　54
3．5　大數(shù)據(jù)可視化技術(shù)　56
3．5．1　數(shù)據(jù)可視化的概念　56
3．5．2　數(shù)據(jù)可視化的分類　57
3．5．3　數(shù)據(jù)可視化工具　61
3．5．4　大數(shù)據(jù)可視化技術(shù)的
發(fā)展方向　63
習題　64
第4章　大數(shù)據(jù)的硬件架構(gòu)——集群　65
4．1　集群的來源　65
4．1．1　并行計算機的發(fā)展　65
4．1．2　通過計算機食物鏈理解
集群　68
4．2　集群的產(chǎn)生促進了大數(shù)據(jù)技術(shù)的
發(fā)展　70
4．3　集群系統(tǒng)的概念及分類　72
4．3．1　集群的基本概念　72
4．3．2　集群系統(tǒng)的分類　73
4．4　集群的結(jié)構(gòu)模型　75
4．5　集群文件系統(tǒng)　76
習題　79
第5章　大數(shù)據(jù)開發(fā)與計算技術(shù)　80
5．1　Hadoop—分布式大數(shù)據(jù)系統(tǒng)　80
5．1．1　Hadoop概述　80
5．1．2　Hadoop架構(gòu)　81
5．1．3　Hadoop生態(tài)系統(tǒng)　87
5．2　Spark—大規(guī)模數(shù)據(jù)實時處理
系統(tǒng)　89
5．2．1　Spark概述　89
5．2．2　彈性分布式數(shù)據(jù)集　94
5．2．3　Spark擴展功能　96
5．3　Storm—基于拓撲的流數(shù)據(jù)實時
計算系統(tǒng)　99
5．3．1　Storm概述　99
5．3．2　Storm的組成結(jié)構(gòu)　101
5．3．3　Storm-Yarn概述　102
5．4　Hadoop、Spark與Storm的比較　103
5．5　大數(shù)據(jù)開發(fā)技術(shù)與Web應用
開發(fā)技術(shù)的比較　105
5．5．1　Web應用開發(fā)技術(shù)簡介　105
5．5．2　大數(shù)據(jù)開發(fā)技術(shù)簡介　109
5．5．3　大數(shù)據(jù)開發(fā)技術(shù)與Web應用
開發(fā)技術(shù)的應用環(huán)境　110
習題　112
第6章　大數(shù)據(jù)存儲技術(shù)　113
6．1　數(shù)據(jù)存儲概述　113
6．2　分布式文件系統(tǒng)　115
6．2．1　分布式文件系統(tǒng)的設計
思路　116
6．2．2　最早的分布式文件系統(tǒng)　118
6．2．3　大數(shù)據(jù)環(huán)境下分布式文件
系統(tǒng)的優(yōu)化思路　119
6．3　結(jié)構(gòu)化大數(shù)據(jù)的存儲—Hive　120
6．3．1　Hive簡介　120
6．3．2　Hive架構(gòu)　121
6．3．3　Hive數(shù)據(jù)模型與存儲　122
6．4　半結(jié)構(gòu)化大數(shù)據(jù)的存儲—HBase　124
6．4．1　HBase簡介　124
6．4．2　HBase數(shù)據(jù)模型　125
6．4．3　存儲架構(gòu)　127
6．5　云存儲技術(shù)　134
6．5．1　云存儲的概念及特性　134
6．5．2　云存儲系統(tǒng)的結(jié)構(gòu)模型　136
6．5．3　云存儲的應用　138
習題　139
第7章　大數(shù)據(jù)分析　141
7．1　大數(shù)據(jù)分析與數(shù)據(jù)分析的關系　141
7．1．1　對數(shù)據(jù)分析師的要求　142
7．1．2　對大數(shù)據(jù)分析師的要求　142
7．2　大數(shù)據(jù)分析的重要性及認識數(shù)據(jù)　143
7．2．1　大數(shù)據(jù)分析的重要性　143
7．2．2　認識數(shù)據(jù)　145
7．3　統(tǒng)計數(shù)據(jù)分析　147
7．4　基于機器學習的數(shù)據(jù)分析　151
7．4．1　機器學習簡介　151
7．4．2　機器學習的主要用途　153
7．4．3　有監(jiān)督學習、無監(jiān)督學習和
強化學習　154
7．5　經(jīng)典的機器學習算法　157
7．5．1　分類算法原理　157
7．5．2　決策樹分類算法　157
7．5．3　K-均值聚類算法　158
7．5．4　Apriori關聯(lián)規(guī)則算法　159
7．5．5　樸素貝葉斯分類算法　159
7．6　基于圖的數(shù)據(jù)分析　161
7．7　基于自然語言的數(shù)據(jù)分析　162
習題　163
第8章 大數(shù)據(jù)與人工智能　164
8．1　人工智能的概念及分類　164
8．2　人工智能的發(fā)展史　168
8．3　限制人工智能發(fā)展的因素　170
8．4　大數(shù)據(jù)與人工智能的關系　172
8．5　人工智能核心技術(shù)概述　173
8．5．1　深度學習　174
8．5．2　卷積神經(jīng)網(wǎng)絡　175
8．5．3　圖像處理　176
8．6　人工智能技術(shù)應用　177
習題　179
參考文獻　180