Hadoop高級(jí)數(shù)據(jù)分析：使用Hadoop生態(tài)系統(tǒng)設(shè)計(jì)和構(gòu)建大數(shù)據(jù)系統(tǒng)

目錄
第Ⅰ部分概念
第1章概述：用Hadoop構(gòu)建數(shù)據(jù)分析系統(tǒng)3
1.1構(gòu)建DAS的必要性4
1.2HadoopCore及其簡(jiǎn)史4
1.3Hadoop生態(tài)系統(tǒng)概述5
1.4AI技術(shù)、認(rèn)知計(jì)算、深度學(xué)習(xí)以及BDA6
1.5自然語(yǔ)言處理與BDAS6
1.6SQL與NoSQL查詢處理6
1.7必要的數(shù)學(xué)知識(shí)7
1.8設(shè)計(jì)及構(gòu)建BDAS的循環(huán)過(guò)程7
1.9如何利用Hadoop生態(tài)系統(tǒng)實(shí)現(xiàn)BDA10
1.10“圖像大數(shù)據(jù)”(IABD)基本思想10
1.10.1使用的編程語(yǔ)言12
1.10.2Hadoop生態(tài)系統(tǒng)的多語(yǔ)言組件12
1.10.3Hadoop生態(tài)系統(tǒng)架構(gòu)13
1.11有關(guān)軟件組合件與框架的注意事項(xiàng)13
1.12ApacheLucene、Solr及其他：開(kāi)源搜索組件14
1.13建立BDAS的架構(gòu)15
1.14你需要了解的事情15
1.15數(shù)據(jù)可視化與報(bào)表17
1.15.1使用EclipseIDE作為開(kāi)發(fā)環(huán)境18
1.15.2本書(shū)未講解的內(nèi)容19
1.16本章小結(jié)21
第2章Scala及Python進(jìn)階23
2.1動(dòng)機(jī)：選擇正確的語(yǔ)言定義應(yīng)用23
2.2Scala概覽24
2.3Python概覽29
2.4錯(cuò)誤診斷、調(diào)試、配置文件及文檔31
2.4.1Python的調(diào)試資源32
2.4.2Python文檔33
2.4.3Scala的調(diào)試資源33
2.5編程應(yīng)用與示例33
2.6本章小結(jié)34
2.7參考文獻(xiàn)34
第3章Hadoop及分析的標(biāo)準(zhǔn)工具集35
3.1庫(kù)、組件及工具集：概覽35
3.2在評(píng)估系統(tǒng)中使用深度學(xué)習(xí)方法38
3.3使用Spring框架及SpringData44
3.4數(shù)字與統(tǒng)計(jì)庫(kù)：R、Weka及其他44
3.5分布式系統(tǒng)的OLAP技術(shù)44
3.6用于分析的Hadoop工具集：ApacheMahout及相關(guān)工具45
3.7ApacheMahout的可視化46
3.8ApacheSpark庫(kù)與組件46
3.8.1可供選擇的不同類型的shell46
3.8.2ApacheSpark數(shù)據(jù)流47
3.8.3SparklingWater與H2O機(jī)器學(xué)習(xí)48
3.9組件使用與系統(tǒng)建立示例48
3.10封包、測(cè)試和文檔化示例系統(tǒng)50
3.11本章小結(jié)51
3.12參考文獻(xiàn)51
第4章關(guān)系、NoSQL及圖數(shù)據(jù)庫(kù)53
4.1圖查詢語(yǔ)言：Cypher及Gremlin55
4.2Cypher示例55
4.3Gremlin示例56
4.4圖數(shù)據(jù)庫(kù)：ApacheNeo4J58
4.5關(guān)系數(shù)據(jù)庫(kù)及Hadoop生態(tài)系統(tǒng)59
4.6Hadoop以及UA組件59
4.7本章小結(jié)63
4.8參考文獻(xiàn)64
第5章數(shù)據(jù)管道及其構(gòu)建方法65
5.1基本數(shù)據(jù)管道66
5.2ApacheBeam簡(jiǎn)介67
5.3ApacheFalcon簡(jiǎn)介68
5.4數(shù)據(jù)源與數(shù)據(jù)接收：使用ApacheTika構(gòu)建數(shù)據(jù)管道68
5.5計(jì)算與轉(zhuǎn)換70
5.6結(jié)果可視化及報(bào)告71
5.7本章小結(jié)74
5.8參考文獻(xiàn)74
第6章Hadoop、Lucene、Solr與高級(jí)搜索技術(shù)75
6.1Lucene/Solr生態(tài)系統(tǒng)簡(jiǎn)介75
6.2Lucene查詢語(yǔ)法76
6.3使用Solr的編程示例79
6.4使用ELK棧(Elasticsearch、Logstash、Kibana)85
6.5Solr與Elasticsearch：特點(diǎn)與邏輯93
6.6應(yīng)用于Elasticsearch和Solr的SpringData組件95
6.7使用LingPipe和GATE實(shí)現(xiàn)定制搜索99
6.8本章小結(jié)108
6.9參考文獻(xiàn)108
第Ⅱ部分架構(gòu)及算法
第7章分析技術(shù)及算法概覽111
7.1算法類型綜述111
7.2統(tǒng)計(jì)/數(shù)值技術(shù)112
7.3貝葉斯技術(shù)113
7.4本體驅(qū)動(dòng)算法114
7.5混合算法：組合算法類型115
7.6代碼示例116
7.7本章小結(jié)119
7.8參考文獻(xiàn)119
第8章規(guī)則引擎、系統(tǒng)控制與系統(tǒng)編排121
8.1規(guī)則系統(tǒng)JBossDrools介紹121
8.2基于規(guī)則的軟件系統(tǒng)控制124
8.3系統(tǒng)協(xié)調(diào)與JBossDrools125
8.4分析引擎示例與規(guī)則控制126
8.5本章小結(jié)129
8.6參考文獻(xiàn)129
第9章綜合提升：設(shè)計(jì)一個(gè)完整的分析系統(tǒng)131
9.1本章小結(jié)136
9.2參考文獻(xiàn)136
第Ⅲ部分組件與系統(tǒng)
第10章數(shù)據(jù)可視化：可視化與交互分析139
10.1簡(jiǎn)單的可視化139
10.2AngularJS和Friends簡(jiǎn)介143
10.3使用JHipster集成SpringXD
和AngularJS143
10.4使用d3.js、sigma.js及其他
工具152
10.5本章小結(jié)153
10.6參考文獻(xiàn)153
第Ⅳ部分案例研究與應(yīng)用