大數(shù)據(jù)的沖擊

目　錄

第1章　什么是大數(shù)據(jù)
1.1　The data deluge　2
1.2　用3V來描述大數(shù)據(jù)的特征　3
1.3　廣義的大數(shù)據(jù)　8
1.4　為什么現(xiàn)在要談大數(shù)據(jù)？①大數(shù)據(jù)的民主化　9
1.5　為什么現(xiàn)在要談大數(shù)據(jù)？②硬件性價比的提高以及軟件技術的進步　10
1.6　為什么現(xiàn)在要談大數(shù)據(jù)？③云計算的普及　12
1.7　從“看到過去”到“預測未來”BI與大數(shù)據(jù)的交叉　18
1.8　從點(交易數(shù)據(jù))分析到線(交互數(shù)據(jù))分析　20
1.9　大數(shù)據(jù)的分析工具　22
本章小結　24

第2章　支撐大數(shù)據(jù)的技術
2.1　人手不足　26
2.2　什么是Hadoop　26
2.3　發(fā)行版本的增加　30
2.4　發(fā)行版本眾多的原因　33
2.5　NoSQL數(shù)據(jù)庫　34
2.6　風投資本對Hadoop、NoSQL企業(yè)的熱切關注　39
2.7　大數(shù)據(jù)時代的數(shù)據(jù)處理基礎　41
2.8　備受關注的分析型數(shù)據(jù)庫　42
2.9　流數(shù)據(jù)處理(實時數(shù)據(jù)處理)　45
2.10　自行開發(fā)流數(shù)據(jù)處理技術的互聯(lián)網(wǎng)企業(yè)　47
2.11　機器學習、統(tǒng)計分析等　49
2.12　自然語言處理及其他　51
本章小結　53

第3章　以大數(shù)據(jù)為武器的企業(yè)歐美企業(yè)篇
3.1　大步邁進的互聯(lián)網(wǎng)企業(yè)對大數(shù)據(jù)的運用　56
3.2　eBay：每天產(chǎn)生50TB的數(shù)據(jù)　59
3.2.1　超乎尋常的數(shù)據(jù)產(chǎn)生速度　60
3.2.2　eBay的數(shù)據(jù)分析基礎架構　61
3.3　Zynga：披著游戲公司外衣的分析公司　64
3.3.1　社交游戲經(jīng)濟的重要指標　65
3.3.2　提高病毒系數(shù)的方法　66
3.3.3　數(shù)據(jù)驅動游戲　67
3.3.4　三次點擊法則　68
3.4　Centrica：通過智能電表分析能源消耗模式　69
3.4.1　英國電力、燃氣收費的實際情況　70
3.4.2　使用智能電表所帶來的影響　71
3.5　Catalina　Marketing：通過收銀臺優(yōu)惠券對顧客的購買行為進行設計　75
3.5.1　存儲超過1億人的購物記錄　76
3.5.2　預測顧客的購買行為，刺激來店消費　78
本章小結　80

第4章　以大數(shù)據(jù)為武器的企業(yè)日本企業(yè)篇
4.1　對大數(shù)據(jù)的運用正在日本興起　84
4.2　小松：在日本運用大數(shù)據(jù)的先驅者　84
4.3　Recruit：通過對Hadoop的充分運用，成功實現(xiàn)對數(shù)據(jù)分析的觀念革新　88
4.3.1　幾乎整個公司都在運用Hadoop　89
4.3.2　支撐Recruit大數(shù)據(jù)分析的Hadoop基礎架構　91
4.3.3　成功的秘訣在于組織體制　93
4.3.4　在Recruit眼中Hadoop的真正價值是什么　94
4.4　GREE：快速成長的原動力在于數(shù)據(jù)驅動型工作方式　97
4.4.1　比起個人的感覺，數(shù)千萬人的數(shù)據(jù)更可信　100
4.4.2　數(shù)據(jù)驅動型工作方式的支撐力是對日志數(shù)據(jù)的執(zhí)著　102
4.4.3　集結了擁有多種技能的專業(yè)人員　104
4.4.4　將信息丟失控制在最低限度的團隊體制　105
4.5　麥當勞：在現(xiàn)實世界中實現(xiàn)一對一營銷　106
4.5.1　創(chuàng)新性的優(yōu)惠券背后是周到的準備　107
4.5.2　關注將手機用作積分卡的模式　110
本章小結　111

第5章　大數(shù)據(jù)的運用模式
5.1　大數(shù)據(jù)的運用實例　114
5.2　大數(shù)據(jù)運用模式的分類　118
5.2.1　個別優(yōu)化·批處理型(圖表5-2)　119
5.2.2　個別優(yōu)化·實時型(圖表5-4)　121
5.2.3　整體優(yōu)化·批處理型(圖表5-5)　123
5.2.4　整體優(yōu)化·實時型(圖表5-8)　127
5.3　大數(shù)據(jù)的運用級別　128
5.3.1　對過去/現(xiàn)狀的把握　128
5.3.2　發(fā)現(xiàn)模式　129
5.3.3　預測　130
5.3.4　優(yōu)化　130
5.4　專欄：動態(tài)定價　132
5.5　大數(shù)據(jù)運用的真正價值　134
本章小結　137

第6章　大數(shù)據(jù)時代的隱私問題
6.1　在隱私與創(chuàng)新的夾縫中生存　140
6.2　美國國會的關注　142
6.3　建立社交化檔案的是非　146
6.4　Do Not Track　149
6.5　消費者隱私權法案　151
6.6　采用主動許可方式的歐盟　155
6.7　數(shù)據(jù)保護指令同樣面臨修訂　156
6.8　在日本需要考慮個人信息保護法及各行業(yè)領域的指導方針　159
6.9　在向第三方提供信息上采用主動許可方式的指導方針　162
6.10　日本政府的討論情況　162
6.11　經(jīng)濟產(chǎn)業(yè)省以“信息大航海計劃”為契機展開討論　163
6.12　總務省從生活日志的角度展開討論　165
6.12.1　個人信息保護的角度　167
6.12.2　與隱私等的關系　167
6.13　關鍵在于與用戶的溝通　171
6.14　線下行為跟蹤　172
本章小結　174

第7章　開放數(shù)據(jù)時代的到來與數(shù)據(jù)市場的興起
7.1　運用公開數(shù)據(jù)也是一種選擇　178
7.2　興盛的LOD運動　179
7.3　對政府公開的影響　182
7.4　層出不窮的創(chuàng)業(yè)型公司　185
7.5　通過舉辦競賽來促進數(shù)據(jù)運用　187
7.6　輸在起跑線上的日本　189
7.7　以震災為契機逐步發(fā)展的日本開放數(shù)據(jù)工作　191
7.8　數(shù)據(jù)市場的興起　194
7.8.1　Factual　195
7.8.2　Windows Azure Marketplace　196
7.8.3　Infochimps　197
7.8.4　Public Data Sets on AWS　199
7.9　不同的商業(yè)模式　201
7.10　數(shù)據(jù)市場興盛背后的課題　202
本章小結　203

第8章　為大數(shù)據(jù)時代做好準備
8.1　大數(shù)據(jù)時代的企業(yè)IT戰(zhàn)略　206
8.2　共享數(shù)據(jù)的日本企業(yè)　209
8.2.1　羅森和雅虎　210
8.2.2　KDDI和樂天　210
8.2.3　COOKPAD和ID’s　210
8.3　擁有原創(chuàng)數(shù)據(jù)的優(yōu)勢　211
8.4　供應商企業(yè)的新商機：數(shù)據(jù)聚合商　212
8.5　誰能成為數(shù)據(jù)聚合商　214
8.6　在美國備受矚目的支付服務商向數(shù)據(jù)聚合商的演化　216
8.6.1　VISA　216
8.6.2　PayPal　218
8.6.3　美國運通　218
8.7　數(shù)據(jù)整合之妙：將原創(chuàng)數(shù)據(jù)變?yōu)樵鲋禂?shù)據(jù)　219
8.8　日益搶手的數(shù)據(jù)科學家　220
8.9　數(shù)據(jù)科學家所需的技能　223
8.10　數(shù)據(jù)科學家所需的素質　227
8.11　嚴重的人才匱乏　228
8.12　研究生院的成立　232
8.13　大數(shù)據(jù)分析企業(yè)吸引了大量的資金　235
8.14　日本也開始了對數(shù)據(jù)科學家的爭奪　236
8.15　最后的問題：組織結構和企業(yè)文化　238
8.16　目標：成為數(shù)據(jù)驅動型企業(yè)　240
本章小結　242

致謝　243
參考文獻　244
版權聲明　248