大數(shù)據(jù)架構商業(yè)之路：從業(yè)務需求到技術方案

推薦序一
推薦序二
前　　言
第1章　抉擇    1
第2章　數(shù)據(jù)收集    4
2.1　互聯(lián)網數(shù)據(jù)收集    4
2.1.1　網絡爬蟲    5
2.1.2　Apache Nutch簡介    11
2.1.3　Heritrix簡介    14
2.2　內部數(shù)據(jù)收集    15
2.2.1　Apache Flume簡介    17
2.2.2　Facebook Scribe和Logstash    21
2.3　本章心得    21
2.4　參考資料    22
第3章　數(shù)據(jù)存儲    23
3.1　持久化存儲    23
3.1.1　Hadoop和HDFS    25
3.1.2　HBase簡介    28
3.1.3　MongoDB    35
3.2　非持久化存儲    37
3.2.1　緩存和散列    37
3.2.2　Memcached和Berkeley DB簡介    41
3.2.3　Redis簡介    41
3.3　本章心得    44
3.4　參考資料    44
第4章　數(shù)據(jù)處理    46
4.1　離線批量處理    46
4.1.1　Hadoop的MapReduce    47
4.1.2　Spark簡介    52
4.1.3　Hive簡介    53
4.1.4　Pig、Impala和Spark SQL    56
4.2　提升及時性：消息機制    58
4.2.1　ActiveMQ簡介    60
4.2.2　Kafka簡介    61
4.3　在線實時處理    63
4.3.1　Storm簡介    63
4.3.2　Spark Streaming簡介    66
4.4　本章心得    66
4.5　參考資料    67
第5章　信息檢索    69
5.1　基本理念    70
5.2　相關性    70
5.2.1　布爾模型    70
5.2.2　基于排序的布爾模型    71
5.2.3　向量空間模型    74
5.2.4　語言模型    75
5.3　及時性    77
5.4　與數(shù)據(jù)庫查詢的對比    81
5.5　搜索引擎    82
5.5.1　Web搜索中的鏈接分析    83
5.5.2　電子商務中的商品排序    86
5.5.3　多因素和基于學習的排序    88
5.5.4　系統(tǒng)框架    89
5.5.5　Lucene簡介    93
5.5.6　Solr簡介    98
5.5.7　Elasticsearch簡介    104
5.6　推薦系統(tǒng)    108
5.6.1　推薦的核心要素    109
5.6.2　推薦系統(tǒng)的分類    110
5.6.3　混合模型    115
5.6.4　系統(tǒng)架構    116
5.6.5　Mahout    116
5.7　在線廣告    119
5.8　本章心得    127
5.9　參考資料    128
第6章　數(shù)據(jù)挖掘    130
6.1　基本理念    131
6.2　數(shù)據(jù)的表示和預處理    133
6.3　機器學習算法    136
6.4　挖掘工具    157
6.5　本章心得    165
6.6　參考資料    165
第7章　效能評估    167
7.1　效果評估    168
7.2　性能評估    190
7.3　本章心得    202
7.4　參考資料    202
第8章　大數(shù)據(jù)技術全景    204
第9章　商品太多啦！需要搜索引擎    207
9.1　業(yè)務需求    207
9.2　產品設計和技術選型    208
9.3　實現(xiàn)方案    211
第10章　能否更主動？還需要推薦引擎    223
10.1　業(yè)務需求    223
10.2　產品設計和技術選型    225
10.3　實現(xiàn)方案    230
第11章　這樣做的效果如何    241
11.1　業(yè)務需求    241
11.2　產品設計和技術選型    242
11.3　實現(xiàn)方案    243
第12章　這個搜索有點遜    258
12.1　業(yè)務需求：還要搜得更多    258
12.2　“還要搜得更多”：產品設計和技術選型    259
12.3　“還要搜得更多”的方案實現(xiàn)    261
12.4　業(yè)務需求：還要搜得更準    265
12.5　“還要搜得更準”：產品設計和技術選型    266
12.6　“還要搜得更準”的方案實現(xiàn)    271
12.7　業(yè)務需求：還要更快    273
12.8　還要“變”得更快：產品設計和技術選型    274
12.9　還要“搜”得更快：產品設計和技術選型    275
12.10　業(yè)務需求：給點提示吧    280
12.11　給點提示吧：產品設計和技術選型    282
第13章　支持更高效的運營    287
13.1　業(yè)務需求：互聯(lián)網時代的CRM    287
13.2　互聯(lián)網時代的CRM：產品設計和技術選型    288
13.3　業(yè)務需求：抓住搗蛋鬼    291
13.4　抓住搗蛋鬼：產品設計和技術選型    292
13.5　業(yè)務需求：銷售之戰(zhàn)    295
13.6　銷售之戰(zhàn)：產品設計和技術選型    296
后記    299