大數(shù)據(jù)分析理論與技術(shù)

第1章  大數(shù)據(jù)分析基礎(chǔ)認(rèn)知 001
1.1　引言 001
1.2　知識基礎(chǔ) 001
1.2.1　基本概念 001
1.2.2　數(shù)據(jù)科學(xué)與其他學(xué)科的關(guān)系 004
1.3　歷史現(xiàn)狀 006
1.3.1　發(fā)展歷史 006
1.3.2　研究現(xiàn)狀 008
1.3.3　中國大數(shù)據(jù)研究與發(fā)展戰(zhàn)略 010
1.4　主要應(yīng)用 011
1.4.1　互聯(lián)網(wǎng)行業(yè)主要應(yīng)用 011
1.4.2　醫(yī)療行業(yè)主要應(yīng)用 012
1.4.3　金融行業(yè)主要應(yīng)用 014
1.4.4　交通行業(yè)主要應(yīng)用 014
1.4.5　教育行業(yè)主要應(yīng)用 014
1.5　存在問題 015
1.5.1　數(shù)據(jù)存儲 015
1.5.2　信息安全 015
1.5.3　數(shù)據(jù)共享 017
1.6　發(fā)展趨勢 018
1.6.1　大數(shù)據(jù)技術(shù)發(fā)展趨勢 018
1.6.2　大數(shù)據(jù)應(yīng)用發(fā)展趨勢 019
1.7　小結(jié) 021
1.8　習(xí)題 022
第2章  大數(shù)據(jù)分析核心架構(gòu) 023
2.1　引言 023
2.2　數(shù)據(jù)分析架構(gòu)認(rèn)知基礎(chǔ) 023
2.2.1　軟件架構(gòu) 023
2.2.2　數(shù)據(jù)庫及管理系統(tǒng) 026
2.2.3　并行計(jì)算 028
2.2.4　分布式計(jì)算 029
2.2.5　云計(jì)算 032
2.3　分析架構(gòu)Hadoop 034
2.3.1　Hadoop基礎(chǔ)知識 034
2.3.2　Hadoop系統(tǒng)架構(gòu) 035
2.3.3　Hadoop典型案例 040
2.3.4　Hadoop編程接口 042
2.4　分布式文件系統(tǒng)HDFS 046
2.4.1　HDFS基礎(chǔ)知識 046
2.4.2　HDFS系統(tǒng)架構(gòu) 047
2.4.3　HDFS主要特征 049
2.4.4　HDFS編程接口 051
2.5　分析架構(gòu)Spark 055
2.5.1　Spark基礎(chǔ)知識 055
2.5.2　Spark系統(tǒng)架構(gòu) 056
2.5.3　Spark主要特征 059
2.5.4　Spark典型案例 061
2.5.5　Spark編程接口 063
2.6　分布式數(shù)據(jù)庫Hbase 066
2.6.1　Hbase基礎(chǔ)知識 066
2.6.2　Hbase系統(tǒng)架構(gòu) 067
2.6.3　Hbase主要特征 069
2.6.4　Hbase編程接口 071
2.7　數(shù)據(jù)倉庫Hive 073
2.7.1　Hive基礎(chǔ)知識 073
2.7.2　Hive系統(tǒng)架構(gòu) 074
2.7.3　Hive主要特征 076
2.7.4　Hive編程接口 077
2.8　小結(jié) 079
2.9　習(xí)題 080
第3章  大數(shù)據(jù)分析計(jì)算模式 081
3.1　引言 081
3.2　數(shù)據(jù)分析挖掘認(rèn)知基礎(chǔ) 081
3.2.1　模式識別認(rèn)知基礎(chǔ) 081
3.2.2　數(shù)據(jù)挖掘認(rèn)知基礎(chǔ) 084
3.3　靜態(tài)批處理MapReduce 087
3.3.1　基礎(chǔ)知識 087
3.3.2　編程模型 088
3.3.3　體系結(jié)構(gòu) 090
3.3.4　工作流程 092
3.3.5　容錯(cuò)機(jī)制 095
3.3.6　編程實(shí)例 095
3.3.7　典型案例 099
3.4　實(shí)時(shí)流計(jì)算Storm 100
3.4.1　基礎(chǔ)知識 100
3.4.2　編程模型 101
3.4.3　體系結(jié)構(gòu) 104
3.4.4　工作流程 104
3.4.5　容錯(cuò)機(jī)制 105
3.4.6　編程實(shí)例 106
3.4.7　典型案例 107
3.5　圖計(jì)算Pregel 108
3.5.1　基礎(chǔ)知識 108
3.5.2　編程模型 109
3.5.3　體系結(jié)構(gòu) 111
3.5.4　工作流程 112
3.5.5　容錯(cuò)機(jī)制 113
3.5.6　編程實(shí)例 114
3.5.7　典型案例 116
3.6　數(shù)據(jù)可視化 118
3.6.1　可視化簡介 118
3.6.2　可視化方法 119
3.6.3　可視化技術(shù) 122
3.6.4　可視化工具 124
3.6.5　可視化案例 125
3.6.6　可視化發(fā)展趨勢 126
3.7　小結(jié) 127
3.8　習(xí)題 127
第4章  大數(shù)據(jù)與網(wǎng)絡(luò)空間安全 129
4.1　引言 129
4.2　網(wǎng)絡(luò)空間安全認(rèn)知基礎(chǔ) 129
4.2.1　信息網(wǎng)絡(luò)知識基礎(chǔ) 130
4.2.2　信息安全對抗的基本概念 132
4.2.3　信息安全對抗基礎(chǔ)理論概述 134
4.3　網(wǎng)絡(luò)空間安全大數(shù)據(jù)基礎(chǔ)資源 137
4.3.1　用戶數(shù)據(jù) 137
4.3.2　行業(yè)數(shù)據(jù) 137
4.3.3　流量日志數(shù)據(jù) 139
4.3.4　網(wǎng)絡(luò)輿情數(shù)據(jù) 139
4.3.5　應(yīng)用數(shù)據(jù)集 139
4.4　網(wǎng)絡(luò)空間大數(shù)據(jù)安全分析 141
4.4.1　安全事件關(guān)聯(lián)分析 141
4.4.2　網(wǎng)絡(luò)異常檢測分析 143
4.4.3　數(shù)據(jù)內(nèi)容安全分析 146
4.4.4　安全態(tài)勢感知分析 148
4.4.5　安全分析應(yīng)用案例 152
4.5　網(wǎng)絡(luò)空間大數(shù)據(jù)安全防護(hù) 156
4.5.1　大數(shù)據(jù)的威脅與攻擊 156
4.5.2　大數(shù)據(jù)安全防護(hù)技術(shù) 160
4.5.3　大數(shù)據(jù)安全建設(shè)案例 166
4.6　小結(jié) 171
4.7　習(xí)題 171
第5章  大數(shù)據(jù)與自然語言處理 173
5.1　引言 173
5.2　自然語言處理認(rèn)知基礎(chǔ) 174
5.2.1　研究簡史 174
5.2.2　基本概念 175
5.2.3　基本方法 175
5.2.4　面臨困難 176
5.3　自然語言處理大數(shù)據(jù)基礎(chǔ)資源 176
5.3.1　基礎(chǔ)語料庫 176
5.3.2　語言知識庫 180
5.3.3　知識圖譜 182
5.4　自然語言處理大數(shù)據(jù)分析技術(shù) 184
5.4.1　實(shí)體關(guān)系抽取 185
5.4.2　命名實(shí)體識別 190
5.4.3　情感分類 194
5.4.4　文本摘要 198
5.4.5　機(jī)器翻譯 204
5.4.6　自動(dòng)問答 206
5.5　自然語言處理大數(shù)據(jù)分析應(yīng)用案例 210
5.5.1　IBM沃森大型問答系統(tǒng) 210
5.5.2　百度機(jī)器翻譯系統(tǒng) 214
5.5.3　微軟機(jī)器人小冰 216
5.5.4　BFS輿情分析系統(tǒng) 219
5.6　小結(jié) 227
5.7　習(xí)題 227
第6章  大數(shù)據(jù)與醫(yī)學(xué)信息處理 229
6.1　引言 229
6.2　醫(yī)學(xué)信息處理基礎(chǔ)認(rèn)知 229
6.2.1　基本概念 229
6.2.2　研究簡史 230
6.2.3　基本方法 232
6.2.4　面臨困難 233
6.3　醫(yī)學(xué)信息處理大數(shù)據(jù)基礎(chǔ)資源 234
6.3.1　基因數(shù)據(jù)資源 235
6.3.2　醫(yī)學(xué)圖像資源 236
6.3.3　電子健康記錄 238
6.3.4　醫(yī)學(xué)語音記錄 240
6.4　醫(yī)學(xué)信息處理大數(shù)據(jù)分析技術(shù) 241
6.4.1　基因序列分析 241
6.4.2　醫(yī)學(xué)圖像處理 245
6.4.3　電子病歷分析 249
6.4.4　醫(yī)學(xué)語音處理 252
6.5　醫(yī)學(xué)信息處理大數(shù)據(jù)分析應(yīng)用案例 254
6.5.1　精準(zhǔn)醫(yī)療 255
6.5.2　糖尿病健康促進(jìn)系統(tǒng) 259
6.5.3　老年健康綜合評估系統(tǒng) 267
6.5.4　遠(yuǎn)程醫(yī)療 271
6.6　小結(jié) 273
6.7　習(xí)題 274
參考文獻(xiàn) 275