大數(shù)據(jù)技術概論（微課版）

項目1 認識大數(shù)據(jù) 1
任務1.1 大數(shù)據(jù)時代 2
1.1.1 大數(shù)據(jù)時代的來臨 2
1.1.2 大數(shù)據(jù)時代的發(fā)展 5
【任務評估】 9
任務1.2 什么是大數(shù)據(jù) 11
1.2.1 大數(shù)據(jù)的定義 11
1.2.2 大數(shù)據(jù)的特征 12
1.2.3 大數(shù)據(jù)的結構類型 13
1.2.4 數(shù)據(jù)科學與大數(shù)據(jù) 14
【任務評估】 15
任務1.3 大數(shù)據(jù)與其他新興技術 17
1.3.1 云計算 17
1.3.2 物聯(lián)網(wǎng) 19
1.3.3 人工智能 20
【任務評估】 21
項目總結 23
項目拓展訓練 23
項目評價 25
項目2 了解大數(shù)據(jù)產業(yè) 27
任務2.1 區(qū)域大數(shù)據(jù)發(fā)展水平 28
2.1.1 總體概況 29
2.1.2 基礎環(huán)境 31
2.1.3 產業(yè)發(fā)展 33
2.1.4 行業(yè)應用 34
【任務評估】 37
任務2.2 行業(yè)大數(shù)據(jù)發(fā)展水平 39
2.2.1 總體評價 39
2.2.2 發(fā)展特點 40
【任務評估】 43
任務2.3 大數(shù)據(jù)企業(yè)發(fā)展水平 45
2.3.1 大數(shù)據(jù)企業(yè)榜單 45
2.3.2 大數(shù)據(jù)企業(yè)細分領域 47
【任務評估】 49
任務2.4 大數(shù)據(jù)產業(yè)發(fā)展規(guī)劃及
發(fā)展趨勢 51
2.4.1 大數(shù)據(jù)產業(yè)發(fā)展規(guī)劃 51
2.4.2 大數(shù)據(jù)產業(yè)發(fā)展趨勢 54
【任務評估】 57
任務2.5 大數(shù)據(jù)產業(yè)人才需求 59
2.5.1 大數(shù)據(jù)產業(yè)人才需求概況 59
2.5.2 大數(shù)據(jù)產業(yè)人才能力要求 60
2.5.3 大數(shù)據(jù)產業(yè)人才及崗位分類 61
2.5.4 大數(shù)據(jù)產業(yè)人才與專業(yè)的
關系 61
【任務評估】 63
項目總結 65
項目拓展訓練 65
項目評價 67
項目3 大數(shù)據(jù)平臺與生態(tài)圈 69
任務3.1 認識Hadoop大數(shù)據(jù)平臺 70
3.1.1 Hadoop的前世今生 71
3.1.2 Hadoop的特性 73
3.1.3 Hadoop核心組件 73
【任務評估】 79
任務3.2 Hadoop生態(tài)圈 81
3.2.1 Hadoop生態(tài)圈組件 81
3.2.2 Hadoop版本介紹 85
【任務評估】 87
任務3.3 認識Spark技術架構 89
3.3.1 Spark的發(fā)展 89
3.3.2 Spark與Hadoop的區(qū)別 90
3.3.3 Spark的運行架構與運行
流程 91
3.3.4 Spark生態(tài)圈 93
3.3.5 Spark運行模式 94
3.3.6 Spark的應用場景 95
【任務評估】 97
任務3.4 大數(shù)據(jù)計算架構 99
3.4.1 離線計算架構 99
3.4.2 實時計算架構 100
【任務評估】 103
項目總結 105
項目拓展訓練 105
項目評價 107
項目4 大數(shù)據(jù)采集 109
任務4.1 了解大數(shù)據(jù)采集 110
4.1.1 數(shù)據(jù)采集的概念 110
4.1.2 數(shù)據(jù)采集的數(shù)據(jù)源 111
【任務評估】 113
任務4.2 大數(shù)據(jù)采集的方法與工具 115
4.2.1 日志采集系統(tǒng) 115
4.2.2 網(wǎng)絡數(shù)據(jù)采集 116
4.2.3 數(shù)據(jù)庫采集 118
4.2.4 分布式消息訂閱 118
【任務評估】 121
項目總結 123
項目拓展訓練 123
項目評價 125
項目5 大數(shù)據(jù)存儲 127
任務5.1 大數(shù)據(jù)存儲概述 128
5.1.1 大數(shù)據(jù)存儲的概念 128
5.1.2 大數(shù)據(jù)存儲的類型 129
5.1.3 大數(shù)據(jù)存儲的關鍵技術 131
【任務評估】 133
任務5.2 大數(shù)據(jù)存儲的方式 135
5.2.1 分布式存儲 135
5.2.2 數(shù)據(jù)倉庫 139
5.2.3 NoSQL數(shù)據(jù)庫 143
5.2.4 NewSQL數(shù)據(jù)庫 144
5.2.5 云數(shù)據(jù)庫 145
【任務評估】 147
任務5.3 了解NoSQL數(shù)據(jù)庫工具 149
5.3.1 HBase 149
5.3.2 MongoDB 150
5.3.3 Redis 153
5.3.4 LevelDB 154
5.3.5 Neo4j 155
【任務評估】 157
任務5.4 大數(shù)據(jù)安全 159
5.4.1 大數(shù)據(jù)安全概述 159
5.4.2 大數(shù)據(jù)安全體系 160
5.4.3 大數(shù)據(jù)安全關鍵技術 161
5.4.4 大數(shù)據(jù)安全法律法規(guī) 161
【任務評估】 165
項目總結 167
項目拓展訓練 167
項目評價 169
項目6 大數(shù)據(jù)預處理 171
任務6.1 認識數(shù)據(jù)清洗 173
6.1.1 數(shù)據(jù)清洗的定義 173
6.1.2 數(shù)據(jù)清洗的原理 173
6.1.3 數(shù)據(jù)清洗的流程 174
6.1.4 數(shù)據(jù)清洗的方法 175
6.1.5 認識ETL 180
【任務評估】 183
任務6.2 數(shù)據(jù)清洗的常用工具 185
6.2.1 Excel 185
6.2.2 Kettle 186
6.2.3 DataCleaner 186
6.2.4 OpenRefine 187
6.2.5 Smartbi 187
【任務評估】 189
任務6.3 數(shù)據(jù)轉換 191
6.3.1 數(shù)據(jù)離散化 191
6.3.2 數(shù)據(jù)平滑 193
6.3.3 屬性構造 194
6.3.4 數(shù)據(jù)聚合 195
6.3.5 數(shù)據(jù)規(guī)范化 196
【任務評估】 199
任務6.4 數(shù)據(jù)標準 201
6.4.1 數(shù)據(jù)標準的概念 201
6.4.2 數(shù)據(jù)標準的分類 201
6.4.3 數(shù)據(jù)標準的管理 202
6.4.4 數(shù)據(jù)標準與數(shù)據(jù)資產的
關系 205
【任務評估】 207
任務6.5 數(shù)據(jù)質量與數(shù)據(jù)脫敏 209
6.5.1 數(shù)據(jù)質量的定義 209
6.5.2 數(shù)據(jù)質量的常見問題 210
6.5.3 數(shù)據(jù)脫敏 211
【任務評估】 213
項目總結 215
項目拓展訓練 215
項目評價 217
項目7 大數(shù)據(jù)分析與挖掘 219
任務7.1 大數(shù)據(jù)分析 220
7.1.1 大數(shù)據(jù)分析的概念 221
7.1.2 大數(shù)據(jù)分析的流程 222
7.1.3 大數(shù)據(jù)分析的方法 222
7.1.4 大數(shù)據(jù)分析工具庫 225
【任務評估】 229
任務7.2 數(shù)據(jù)挖掘 231
7.2.1 數(shù)據(jù)挖掘的概念 231
7.2.2 數(shù)據(jù)挖掘算法 234
7.2.3 大數(shù)據(jù)挖掘工具 235
【任務評估】 237
項目總結 239
項目拓展訓練 239
項目評價 241
項目8 大數(shù)據(jù)可視化 243
任務8.1 數(shù)據(jù)可視化基礎 244
8.1.1 數(shù)據(jù)可視化的概念 244
8.1.2 數(shù)據(jù)可視化的發(fā)展 244
8.1.3 數(shù)據(jù)可視化的優(yōu)勢 246
8.1.4 數(shù)據(jù)可視化的方法 247
【任務評估】 249
任務8.2 數(shù)據(jù)可視化常用圖表 251
8.2.1 常用圖表介紹 251
8.2.2 圖表的選擇與應用 260
【任務評估】 261
任務8.3 大數(shù)據(jù)可視化常用工具 263
8.3.1 大數(shù)據(jù)可視化工具 263
8.3.2 大數(shù)據(jù)可視化開源庫 263
【任務評估】 265
項目總結 267
項目拓展訓練 267
項目評價 269
項目9 中國信創(chuàng)與大數(shù)據(jù)中臺 271
任務9.1 什么是信創(chuàng) 273
9.1.1 信創(chuàng)的概念 273
9.1.2 信創(chuàng)的發(fā)展歷程 274
【任務評估】 277
任務9.2 信創(chuàng)的現(xiàn)狀和發(fā)展前景 279
9.2.1 信創(chuàng)的現(xiàn)狀 279
9.2.2 信創(chuàng)的發(fā)展前景 282
【任務評估】 285
任務9.3 信創(chuàng)之大數(shù)據(jù)中臺 287
9.3.1 產品概述 287
9.3.2 產品優(yōu)勢 289
9.3.3 產品架構 291
9.3.4 產品適用場景 293
【任務評估】 297
項目總結 299
項目拓展訓練 299
項目評價 301
項目10 大數(shù)據(jù)應用綜合平臺
典型案例 303
任務10.1 某市智慧城市建設項目
案例 304
10.1.1 項目背景 304
10.1.2 建設目標 305
10.1.3 技術架構 305
10.1.4 建設成效 306
【任務評估】 309
任務10.2 某市高新區(qū)城市駕駛艙平臺
建設項目案例 311
10.2.1 項目背景 311
10.2.2 建設目標 311
10.2.3 技術架構 311
10.2.4 建設成效 312
【任務評估】 315
任務10.3 養(yǎng)老保險全國統(tǒng)籌數(shù)據(jù)平臺
建設項目案例 317
10.3.1 項目背景 317
10.3.2 建設目標 317
10.3.3 技術架構 318
10.3.4 建設成效 319
【任務評估】 321
項目總結 323
項目拓展訓練 323
項目評價 325
參考文獻 327