大數(shù)據(jù)導(dǎo)論

第 1 章  大數(shù)據(jù)概述  1
1.1 大數(shù)據(jù)的產(chǎn)生及其特征  2
1.1.1 大數(shù)據(jù)的產(chǎn)生  2
1.1.2 大數(shù)據(jù)的特征  2
1.2 大數(shù)據(jù)發(fā)展  5
1.2.1 大數(shù)據(jù)發(fā)展歷程  5
1.2.2 國(guó)外大數(shù)據(jù)戰(zhàn)略  6
1.2.3 中國(guó)大數(shù)據(jù)戰(zhàn)略與政策  7
1.2.4 大數(shù)據(jù)立法和標(biāo)準(zhǔn)  8
1.3 大數(shù)據(jù)思維  9
1.3.1 大數(shù)據(jù)的價(jià)值  9
1.3.2 大數(shù)據(jù)的思維變革  10
1.4 大數(shù)據(jù)應(yīng)用  12
1.4.1 大數(shù)據(jù)應(yīng)用層次  12
1.4.2 大數(shù)據(jù)應(yīng)用領(lǐng)域  13
1.5 大數(shù)據(jù)技術(shù)與工具  15
1.5.1 大數(shù)據(jù)處理流程  15
1.5.2 大數(shù)據(jù)行業(yè)全景圖  15
1.5.3 大數(shù)據(jù)分析平臺(tái)  17
1.5.4 大數(shù)據(jù)編程語(yǔ)言  18
1.6 本章小結(jié)  20
1.7 習(xí)題  20
第 2 章  大數(shù)據(jù)采集與預(yù)處理  21
2.1 概述  22
2.2 大數(shù)據(jù)的來(lái)源  23
2.3 大數(shù)據(jù)的采集方法  24
2.3.1 數(shù)據(jù)庫(kù)采集  25
2.3.2 系統(tǒng)日志采集  25
2.3.3 網(wǎng)絡(luò)數(shù)據(jù)采集  25
2.3.4 其他數(shù)據(jù)采集  26
2.4 大數(shù)據(jù)預(yù)處理方法  27
2.4.1 數(shù)據(jù)清洗  27
2.4.2 數(shù)據(jù)集成  30
2.4.3 數(shù)據(jù)變換  30
2.5 大數(shù)據(jù)采集與預(yù)處理工具  32
2.5.1 網(wǎng)絡(luò)爬蟲(chóng) Scrapy  32
2.5.2 流數(shù)據(jù)采集 Kafka  36
2.5.3 ETL 工具 Kettle  38
2.6 本章小結(jié)  43
2.7 習(xí)題  44
第 3 章  大數(shù)據(jù)存儲(chǔ)與管理技術(shù)  45
3.1 大數(shù)據(jù)存儲(chǔ)與管理技術(shù)概述  46
3.2 分布式文件系統(tǒng)  46
3.2.1 HDFS  47
3.2.2 Ceph  53
3.2.3 GlusterFS  55
3.3 NoSQL 數(shù)據(jù)庫(kù)  57
3.3.1 鍵值數(shù)據(jù)庫(kù)  58
3.3.2 列族數(shù)據(jù)庫(kù)  59
3.3.3 文檔數(shù)據(jù)庫(kù)  62
3.3.4 圖數(shù)據(jù)庫(kù)  62
3.4 大數(shù)據(jù)查詢系統(tǒng)  63
3.4.1 大數(shù)據(jù)查詢系統(tǒng)概述  63
3.4.2 Dremel  64
3.5 數(shù)據(jù)倉(cāng)庫(kù)  65
3.5.1 數(shù)據(jù)倉(cāng)庫(kù)的特點(diǎn)  65
3.5.2 關(guān)系型數(shù)據(jù)倉(cāng)庫(kù)體系結(jié)構(gòu)  67
3.5.3 數(shù)據(jù)倉(cāng)庫(kù) Hive  68
3.5.4 數(shù)據(jù)倉(cāng)庫(kù) Impala  70
3.6 本章小結(jié)  72
3.7 習(xí)題  72
第 4 章  大數(shù)據(jù)處理與分析系統(tǒng)  73
4.1 概述  74
4.2 谷歌大數(shù)據(jù)處理系統(tǒng)  74
4.2.1 GFS 74
4.2.2 MapReduce  76
4.2.3 BigTable  76
4.3 分布式計(jì)算框架 Hadoop MapReduce  77
4.3.1 Hadoop MapReduce 概述  77
4.3.2 Hadoop MapReduce 應(yīng)用舉例  79
4.4 快速計(jì)算框架 Spark  83
4.4.1 Spark 簡(jiǎn)介  83
4.4.2 Spark 運(yùn)行架構(gòu)  86
4.4.3 Spark 的部署方式  86
4.4.4 Spark 的數(shù)據(jù)抽象 RDD  87
4.4.5 Spark MLlib  88
4.4.6 Spark Streaming  89
4.4.7 Spark SQL  91
4.4.8 Spark GraphX  92
4.5 其他大數(shù)據(jù)分析系統(tǒng)  94
4.5.1 圖計(jì)算系統(tǒng) Pregel 95
4.5.2 流處理系統(tǒng) Flink  96
4.6 本章小結(jié)  97
4.7 習(xí)題  97
第 5 章  大數(shù)據(jù)機(jī)器學(xué)習(xí)  98
5.1 機(jī)器學(xué)習(xí)簡(jiǎn)介  99
5.1.1 機(jī)器學(xué)習(xí)的定義  99
5.1.2 機(jī)器學(xué)習(xí)的分類  99
5.1.3 機(jī)器學(xué)習(xí)的歷史  102
5.1.4 機(jī)器學(xué)習(xí)與數(shù)據(jù)挖掘的關(guān)系  106
5.2 數(shù)據(jù)  107
5.2.1 數(shù)據(jù)概述  107
5.2.2 帶有標(biāo)簽的數(shù)據(jù)和不帶標(biāo)簽的數(shù)據(jù)  107
5.2.3 訓(xùn)練數(shù)據(jù)、測(cè)試數(shù)據(jù)、驗(yàn)證數(shù)據(jù)  108
5.3 有監(jiān)督學(xué)習(xí)  109
5.3.1 有監(jiān)督學(xué)習(xí)簡(jiǎn)介  109
5.3.2 回歸  109
5.3.3 分類  112
5.3.4 常見(jiàn)的有監(jiān)督學(xué)習(xí)方法  114
5.4 無(wú)監(jiān)督學(xué)習(xí)  119
5.4.1 無(wú)監(jiān)督學(xué)習(xí)簡(jiǎn)介  119
5.4.2 聚類  119
5.4.3 關(guān)聯(lián)分析  122
5.5 強(qiáng)化學(xué)習(xí)  123
5.5.1 強(qiáng)化學(xué)習(xí)簡(jiǎn)介  123
5.5.2 強(qiáng)化學(xué)習(xí)主流算法  125
5.5.3 強(qiáng)化學(xué)習(xí)的使用場(chǎng)景  126
5.6 弱監(jiān)督學(xué)習(xí)  127
5.6.1 弱監(jiān)督學(xué)習(xí)簡(jiǎn)介  127
5.6.2 弱監(jiān)督學(xué)習(xí)的分類  127
5.7 機(jī)器學(xué)習(xí)的相關(guān)資源與工具  128
5.8 本章小結(jié)  130
5.9 習(xí)題  131
第 6 章  數(shù)據(jù)可視化  132
6.1 可視化概述  133
6.1.1 可視化的含義  133
6.1.2 可視化的發(fā)展歷程  133
6.1.3 可視化的作用  134
6.2 數(shù)據(jù)可視化及其分類  135
6.2.1 科學(xué)可視化  135
6.2.2 信息可視化  136
6.2.3 可視化分析學(xué)  137
6.3 數(shù)據(jù)可視化工具  138
6.3.1 入門(mén)級(jí)工具  138
6.3.2 信息圖表工具  138
6.3.3 地圖工具  141
6.3.4 基于編程語(yǔ)言的可視化庫(kù)  142
6.4 本章小結(jié)  144
6.5 習(xí)題  144
第 7 章  大數(shù)據(jù)行業(yè)應(yīng)用案例  145
7.1 大數(shù)據(jù)行業(yè)應(yīng)用概述  146
7.2 政務(wù)大數(shù)據(jù)  146
7.3 交通大數(shù)據(jù)  150
7.3.1 人群生活模式劃分  151
7.3.2 道路擁堵模式預(yù)測(cè)  156
7.4 征信大數(shù)據(jù)  160
7.4.1 企業(yè)征信大數(shù)據(jù)應(yīng)用  160
7.4.2 企業(yè)法人資產(chǎn)建模實(shí)踐  168
7.5 畫(huà)像大數(shù)據(jù)  171
7.5.1 用戶畫(huà)像概述  171
7.5.2 構(gòu)建用戶畫(huà)像流程  172
7.5.3 構(gòu)建用戶畫(huà)像  175
7.5.4 用戶畫(huà)像評(píng)估和使用  181
7.6 本章小結(jié)  182
7.7 習(xí)題  182
第 8 章  大數(shù)據(jù)平臺(tái)與實(shí)驗(yàn)環(huán)境  183
8.1 大數(shù)據(jù)平臺(tái)與環(huán)境概述  184
8.1.1 大數(shù)據(jù)平臺(tái)簡(jiǎn)介  184
8.1.2 搭建環(huán)境簡(jiǎn)介  186
8.2 安裝虛擬機(jī)  186
8.3 在虛擬機(jī)中安裝 Linux 系統(tǒng)  189
8.4 為 Ubuntu 系統(tǒng)配置 Java 開(kāi)發(fā)環(huán)境  191
8.5 在 Ubuntu 系統(tǒng)中安裝 Hadoop  197
8.5.1 查詢和更改主機(jī)名  198
8.5.2 更改 host 文件  199
8.5.3 認(rèn)證 SSH 實(shí)現(xiàn)無(wú)密碼登錄  200
8.5.4 復(fù)制 Hadoop 2.6.0 到指定目錄并解壓  202
8.5.5 配置文件  203
8.5.7 啟動(dòng)、驗(yàn)證和關(guān)閉 Hadoop  211
8.6 安裝 Eclipse 和 Eclipse-hadoop-plugin  214
8.6.1 安裝 Eclipse  214
8.6.2 配置 Eclipse-hadoop-plugin 214
8.7 新建、導(dǎo)入、運(yùn)行與調(diào)試 Hadoop 工程 216
8.7.1 新建 Hadoop 工程 216
8.7.2 導(dǎo)入已有的 Hadoop 工程 217
8.7.3 運(yùn)行 Hadoop 工程 219
8.7.4 調(diào)試 Hadoop 工程 223
8.8 本章小結(jié)  226
8.9 習(xí)題  226
第 9 章  大數(shù)據(jù)治理  227
9.1 大數(shù)據(jù)治理體系  228
9.2 大數(shù)據(jù)法律政策  229
9.3 大數(shù)據(jù)行業(yè)標(biāo)準(zhǔn)  231
9.4 大數(shù)據(jù)治理內(nèi)容  234
9.5 大數(shù)據(jù)倫理風(fēng)險(xiǎn)  237
9.6 本章小結(jié)  240
9.7 習(xí)題  240
主要參考文獻(xiàn) 241