深入淺出數(shù)據(jù)分析

總目錄
序言 I
1 數(shù)據(jù)分析引言：分解數(shù)據(jù) 1
2 實(shí)驗(yàn)：檢驗(yàn)?zāi)愕睦碚?37
3 最優(yōu)化：尋找最大值 75
4 數(shù)據(jù)圖形化：圖形讓你更精明 111
5 假設(shè)檢驗(yàn)：假設(shè)并非如此 139
6 貝葉斯統(tǒng)計(jì)：穿越第一關(guān) 169
7 主觀概率：信念數(shù)字化 191
8 啟發(fā)法：憑人類的天性作分析 225
9 直方圖：數(shù)字的形狀 251
10 回歸：預(yù)測(cè) 279
11 誤差：合理誤差 315
12 相關(guān)數(shù)據(jù)庫：你能關(guān)聯(lián)嗎？ 359
13 整理數(shù)據(jù)：井然有序 385
附錄A 尾聲：正文未及的十大要訣 417
附錄B 安裝R：?jiǎn)?dòng)R！ 427
附錄C 安裝Excel分析工具：ToolPak 431
細(xì)分目錄及各章引子
序言
大腦對(duì)待數(shù)據(jù)分析的態(tài)度。一邊是你努力想學(xué)會(huì)一些知識(shí)，一邊是你
的大腦忙著開小差。你的大腦在想：“最好把位置留給更重要的事，
像該離哪些野生動(dòng)物遠(yuǎn)點(diǎn)啊，像光著身子滑雪是不是個(gè)壞點(diǎn)子啊。”
既然如此，你該如何引誘你的大腦意識(shí)到，懂得數(shù)據(jù)分析是你安身立
命的根本？
誰適合閱讀本書？ II
我們了解你在想什么 III
元認(rèn)知 V
征服大腦 VII
自述 VIII
技術(shù)顧問組 X
致謝 XI
1.分解數(shù)據(jù)數(shù)據(jù)分析引言
Acme化妝品公司需要你出力 2
首席執(zhí)行官希望數(shù)據(jù)分析師幫他提高銷量 3
數(shù)據(jù)分析就是仔細(xì)推敲證據(jù) 4
確定問題 5
客戶將幫助你確定問題 6
Acme公司首席執(zhí)行官給了你一些反饋 8
把問題和數(shù)據(jù)分解為更小的組塊 9
現(xiàn)在再來看看了解到的情況 10
評(píng)估組塊 13
分析從你介入的那一刻開始 14
提出建議 15
報(bào)告寫好了 16
首席執(zhí)行官欣賞你的工作 17
一則新聞 18
首席執(zhí)行官確信的觀點(diǎn)讓你誤入歧途 20
你對(duì)外界的假設(shè)和你確信的觀點(diǎn)就是你的心智模型 21
統(tǒng)計(jì)模型取決于心智模型 22
心智模型應(yīng)當(dāng)包括你不了解的因素 25
首席執(zhí)行官承認(rèn)自己有所不知 26
Acme給你發(fā)來了一長(zhǎng)串原始數(shù)據(jù) 28
深入挖掘數(shù)據(jù) 31
泛美批發(fā)公司確認(rèn)了你的印象 32
回顧你的工作 35
你的分析讓客戶作出了英明的決策 36
2.實(shí)驗(yàn)
檢驗(yàn)?zāi)愕睦碚?br />你能向別人揭示自己堅(jiān)信的信念嗎？正在進(jìn)行實(shí)證檢驗(yàn)？做個(gè)好實(shí)驗(yàn)吧，再
沒有什么辦法能像一個(gè)好實(shí)驗(yàn)?zāi)菢?，既能解決問題又能揭示事物的真正運(yùn)行
規(guī)律。一個(gè)好實(shí)驗(yàn)往往能讓你擺脫對(duì)觀察數(shù)據(jù)的無限依賴，能幫助你理清因
果聯(lián)系；可靠的實(shí)證數(shù)據(jù)將讓你的分析判斷更有說服力。
咖啡業(yè)的寒冬到了！ 38
星巴仕董事會(huì)將在三個(gè)月內(nèi)召開 39
星巴仕調(diào)查表 41
務(wù)必使用比較法 42
比較是破解觀察數(shù)據(jù)的法寶 43
價(jià)值感是導(dǎo)致銷售收入下滑的原因嗎？ 44
一位典型客戶的想法 46
觀察分析法充滿混雜因素 47
店址可能對(duì)分析結(jié)果有哪些影響 48
拆分?jǐn)?shù)據(jù)塊，管理混雜因素 50
情況比預(yù)料的更糟！ 53
你需要做一個(gè)實(shí)驗(yàn)，指出哪種策略最有效 54
星巴仕首席執(zhí)行官已經(jīng)急不可待 55
星巴仕降價(jià)了 56
一個(gè)月后…… 57
以控制組為基準(zhǔn) 58
避免解雇123 61
讓我們重新做一次實(shí)驗(yàn) 62
一個(gè)月后… 63
實(shí)驗(yàn)照樣會(huì)毀于混雜因素 64
精心選擇分組，避免混雜因素 65
隨機(jī)選擇相似組 67
隨機(jī)訪談 68
準(zhǔn)備就緒，開始實(shí)驗(yàn) 71
結(jié)果在此 72
星巴仕找到了與經(jīng)驗(yàn)吻合的銷售策略 73
3.尋找最大值最優(yōu)化
有些東西人人都想多多益善。為此我們上下求索。要是能用數(shù)字表示我
們不斷追求的東西——利潤(rùn)、錢、效率、速度等，實(shí)現(xiàn)更高目標(biāo)的機(jī)會(huì)
就在眼前。有一種數(shù)據(jù)分析工具能夠幫助我們調(diào)整決策變量，找出解決
方案和優(yōu)化點(diǎn)，使我們最大限度地達(dá)到目標(biāo)。本章將使用這樣一種工具，
并通過強(qiáng)大的電子表格軟件包Solver來實(shí)現(xiàn)這個(gè)工具。
現(xiàn)在是浴盆玩具游戲時(shí)間 76
你能控制的變量受到約束條件的限制 79
決策變量是你能控制的因素 79
你碰到了一個(gè)最優(yōu)化問題 80
借助目標(biāo)函數(shù)發(fā)現(xiàn)目標(biāo) 81
你的目標(biāo)函數(shù) 82
列出有其他約束條件的產(chǎn)品組合 83
在同一張圖形里繪制多種約束條件 84
合理的選擇都出現(xiàn)在可行區(qū)域里 85
新約束條件改變了可行區(qū)域 87
用電子表格實(shí)現(xiàn)最優(yōu)化 90
Solver一氣呵成解決最優(yōu)化問題 94
利潤(rùn)跌穿地板 97
你的模型只是描述了你規(guī)定的情況 98
按照分析目標(biāo)校正假設(shè) 99
提防負(fù)相關(guān)變量 103
新方案立竿見影 108
你的假設(shè)立足于不斷變化的實(shí)際情況 109
4.數(shù)據(jù)圖形化
圖形讓你更精明
數(shù)據(jù)表遠(yuǎn)非你所需。你的數(shù)據(jù)龐雜晦澀，各種變量讓你目不暇接，應(yīng)付堆積
如山的電子表格不只令人厭倦不堪，而且確實(shí)浪費(fèi)時(shí)間。相反，與僅僅使用
電子表格不同，一幅用紙不多、栩栩如生的清晰圖像，卻能讓你擺脫“一葉
障目，不見泰山”的煩惱。
新軍隊(duì)需要優(yōu)化網(wǎng)站 112
結(jié)果面世，信息設(shè)計(jì)師出局 113
前一位信息設(shè)計(jì)師提交的三份信息圖 114
這些圖形隱含哪些數(shù)據(jù)？ 115
體現(xiàn)數(shù)據(jù)！ 116
這是前一位設(shè)計(jì)師主動(dòng)提供的意見 117
數(shù)據(jù)太多絕不會(huì)成為你的問題 118
讓數(shù)據(jù)變美觀也不是你要解決的問題 119
數(shù)據(jù)圖形化的根本在于正確比較 120
你的圖形已經(jīng)比打入冷宮的圖形更有用 123
使用散點(diǎn)圖探索原因 124
最優(yōu)秀的圖形都是多元圖形 125
同時(shí)展示多張圖形，體現(xiàn)更多變量 126
圖形很棒，但網(wǎng)站掌門人仍不滿意 130
優(yōu)秀的圖形設(shè)計(jì)有助于思考的原因 131
實(shí)驗(yàn)設(shè)計(jì)師出聲了 132
實(shí)驗(yàn)設(shè)計(jì)師們有自己的假設(shè) 135
客戶欣賞你的工作 136
訂單從四面八方滾滾而來！ 137
5.假設(shè)并非如此假設(shè)檢驗(yàn)
世事紛紜，真假難辨。人們需要用龐雜多變的數(shù)據(jù)預(yù)測(cè)未來，然而免不了
剪不斷，理還亂。正因如此，分析師不會(huì)簡(jiǎn)單聽信浮于表面的解釋，也不
會(huì)想當(dāng)然地認(rèn)可這些解釋的真實(shí)性：通過數(shù)據(jù)分析的仔細(xì)推理，分析師能
夠異常細(xì)致地評(píng)估大量備選答案，然后將手頭的一切信息整合到各種模
型中。接下來要學(xué)的證偽法即是一種切實(shí)有效的非直覺方法。
給我來塊“皮膚”…… 140
我們何時(shí)開始生產(chǎn)新手機(jī)皮膚？ 141
PodPhone不希望別人看透他們的下一步行動(dòng) 142
我們得知的全部信息 143
電膚的分析與數(shù)據(jù)相符嗎？ 144
電膚得到了機(jī)密《戰(zhàn)略備忘錄》 145
變量之間可以正相關(guān)，也可以負(fù)相關(guān) 146
現(xiàn)實(shí)世界中的各種原因呈網(wǎng)絡(luò)關(guān)系，而非線性關(guān)系 149
假設(shè)幾個(gè)PodPhone備選方案 150
用手頭的資料進(jìn)行假設(shè)檢驗(yàn) 151
假設(shè)檢驗(yàn)的核心是證偽 152
借助診斷性找出否定性最小的假設(shè) 160
無法一一剔除所有假設(shè)，但可以判定哪個(gè)假設(shè)最強(qiáng) 163
你剛剛收到一條圖片短信…… 164
即將上市！ 167
6.貝葉斯統(tǒng)計(jì)
穿越第一關(guān)
數(shù)據(jù)收集工作永不停息。必須確保每一個(gè)分析過程都充分利用所搜集到的與
問題有關(guān)的數(shù)據(jù)。雖說你已學(xué)會(huì)了證偽法，處理異質(zhì)數(shù)據(jù)源不在話下，可要
是碰到直接概率問題該怎么辦？這就要講到一個(gè)極其方便的分析工具，叫做
貝葉斯規(guī)則，這個(gè)規(guī)則能幫助你利用基礎(chǔ)概率和波動(dòng)數(shù)據(jù)做到明察秋毫。
醫(yī)生帶來惱人的消息 170
讓我們逐條細(xì)讀正確性分析 173
蜥蜴流感到底有多普遍？ 174
你計(jì)算的是假陽性 175
這些術(shù)語說的都是條件概率 176
你需要算算 177
1%的人患蜥蜴流感 178
你患蜥蜴流感的幾率仍然非常低 181
用簡(jiǎn)單的整數(shù)思考復(fù)雜的概率 182
搜集到新數(shù)據(jù)后，用貝葉斯規(guī)則處理基礎(chǔ)概率 182
貝葉斯規(guī)則可以反復(fù)使用 183
第二次試驗(yàn)結(jié)果：陰性 184
新試驗(yàn)的正確性統(tǒng)計(jì)值有變化 185
新信息會(huì)改變你的基礎(chǔ)概率 186
放心多了！ 189
7. 信念數(shù)字化
主觀概率
虛擬數(shù)據(jù)未嘗不可。真的。不過，這些數(shù)字必須描述你的心智狀態(tài)，表
明你的信念。主觀概率就是這樣一種將嚴(yán)謹(jǐn)融入直覺的簡(jiǎn)便辦法，具體
做法馬上介紹。隨著講解的進(jìn)行，你將學(xué)會(huì)如何利用標(biāo)準(zhǔn)偏差評(píng)估數(shù)據(jù)
分布，前面學(xué)過的一個(gè)更強(qiáng)大的分析工具也會(huì)再次登臺(tái)亮相。
背水投資公司需要你效力 192
分析師們相互叫陣 193
主觀概率體現(xiàn)專家信念 198
主觀概率可能表明：根本不存在真正的分歧 199
分析師們答復(fù)的主觀概率 201
首席執(zhí)行官不明白你在忙些什么 202
首席執(zhí)行官欣賞你的工作 207
標(biāo)準(zhǔn)偏差量度分析點(diǎn)與平均值的偏差 208
這條新聞讓你措手不及 213
貝葉斯規(guī)則是修正主觀概率的好辦法 217
首席執(zhí)行官完全知道該怎么處理這條新信息了 223
俄羅斯股民歡欣鼓舞！ 224
8.啟發(fā)法
憑人類的天性做分析
現(xiàn)實(shí)世界的風(fēng)云變幻讓分析師難以料事如神?？傆幸恍?shù)據(jù)可望不可及，即
使有所能及，最優(yōu)化方法也往往艱深耗時(shí)。所幸，生活中的大部分實(shí)際思維
活動(dòng)并非以最理性的方式展開，而是利用既不齊全也不確定的信息，憑經(jīng)驗(yàn)
進(jìn)行處理，迅速做出決策。奇就奇在這些經(jīng)驗(yàn)確實(shí)能夠奏效，因此也是進(jìn)行
數(shù)據(jù)分析的重要而必要的工具。
邋遢集向市議會(huì)提交了報(bào)告 226
邋遢集確實(shí)把鎮(zhèn)上打掃得干干凈凈 227
邋遢集已經(jīng)計(jì)量了自己的工作效果 228
他們的任務(wù)是減少散亂垃圾量 229
計(jì)量垃圾量不可行 230
問題刁鉆，回答簡(jiǎn)單 231
數(shù)據(jù)邦市的散亂垃圾結(jié)構(gòu)復(fù)雜 232
無法建立和運(yùn)用統(tǒng)一的散亂垃圾計(jì)量模型 233
啟發(fā)法是從直覺走向最優(yōu)化的橋梁 236
使用快省樹 239
是否有更簡(jiǎn)單的方法評(píng)估邋遢集的成就？ 240
固定模式都具有啟發(fā)性 244
分析完畢，準(zhǔn)備提交 246
看來你的分析打動(dòng)了市議會(huì)的議員們 249
9. 數(shù)字的形狀直方圖
直方圖能說明什么？數(shù)據(jù)的圖形表示方法不計(jì)其數(shù)，直方圖是其中出類
拔萃的一種。直方圖與柱狀圖有些相似，能迅速而有效地匯總數(shù)據(jù)。接
下來你將用這種小巧而實(shí)用的圖形量度數(shù)據(jù)的分布、差異、集中趨勢(shì)等。
無論數(shù)據(jù)集多么龐大，只要畫一張直方圖，就能“看出”數(shù)據(jù)中的奧妙。
讓我們?cè)诒菊轮杏靡粋€(gè)新穎、免費(fèi)、無所不能的軟件工具繪制直方圖。
員工年度考評(píng)即將到來 252
伸手要錢形式多樣 254
這是歷年加薪記錄 255
直方圖體現(xiàn)每組數(shù)據(jù)的發(fā)生頻數(shù) 262
直方圖不同區(qū)間之間的缺口即數(shù)據(jù)點(diǎn)之間的缺口 263
安裝并運(yùn)行R 264
將數(shù)據(jù)加載到R程序 265
R創(chuàng)建了美觀的直方圖 266
用數(shù)據(jù)的子集繪制直方圖 271
加薪談判有回報(bào) 276
談判要求加薪對(duì)你意味著什么？ 277
10.回歸
預(yù)測(cè)
洞悉一切，未卜先知?；貧w分析法力無邊，只要使用得法，就能幫助你預(yù)測(cè)
某些結(jié)果值。若與控制實(shí)驗(yàn)同時(shí)使用，回歸分析還能預(yù)測(cè)未來。商家狂熱地
運(yùn)用回歸分析幫助自己建立模型，預(yù)測(cè)客戶行為。本章即將讓你看到，明智
地使用回歸分析，確實(shí)能夠帶來巨大效益。
你打算怎么花這些錢？ 280
以獲取大幅度加薪為目的進(jìn)行分析 283
稍等片刻……加薪計(jì)算器！ 284
這個(gè)算法的玄機(jī)在于預(yù)測(cè)加薪幅度 286
用散點(diǎn)圖比較兩種變量 292
直線能為客戶指明目標(biāo) 294
使用平均值圖形預(yù)測(cè)每個(gè)區(qū)間內(nèi)的數(shù)值 297
回歸線預(yù)測(cè)出人們的實(shí)際加薪幅度 298
回歸線對(duì)于具有線性相關(guān)特點(diǎn)的數(shù)據(jù)很有用 300
你需要用一個(gè)等式進(jìn)行精確預(yù)測(cè) 304
讓R創(chuàng)建一個(gè)回歸對(duì)象 306
回歸方程與散點(diǎn)圖密切相關(guān) 309
加薪計(jì)算器的算法正是回歸方程 310
你的加薪計(jì)算器沒有照計(jì)劃行事…… 313
11. 合理誤差誤差
世界錯(cuò)綜復(fù)雜。預(yù)測(cè)有失精準(zhǔn)并不稀奇。不過，如果在進(jìn)行預(yù)測(cè)的時(shí)候
指出誤差范圍，你和你的客戶就不僅能知道平均預(yù)測(cè)值，還能知道該誤
差造成的典型偏差，指出誤差可以讓預(yù)測(cè)和信念更全面。通過本章講授
的工具，你還會(huì)懂得如何控制誤差及如何盡量降低誤差，從而提高預(yù)測(cè)
可信度。
客戶大為惱火 316
你的加薪預(yù)測(cè)算法做了什么？ 317
客戶組成 318
要求加薪25%的家伙不在模型范圍內(nèi) 321
如何對(duì)待想對(duì)數(shù)據(jù)范圍以外的情況進(jìn)行預(yù)測(cè)的客戶 322
由于使用外插法而慘遭解雇的家伙冷靜下來了 327
你只解決了部分問題 328
扭曲的加薪結(jié)果數(shù)據(jù)看起來是什么樣子？ 329
機(jī)會(huì)誤差=實(shí)際結(jié)果與模型預(yù)測(cè)結(jié)果之間的偏差 330
誤差對(duì)你和客戶都有好處 334
機(jī)會(huì)誤差訪談 335
定量地指定誤差 336
用均方根誤差定量表示殘差分布 337
R模型知道存在均方根誤差 338
R的線性模型匯總展示了均方根誤差 340
分割的根本目的是管理誤差 346
優(yōu)秀的回歸分析兼具解釋功能和預(yù)測(cè)功能 350
相比原來的模型，分區(qū)模型能更好地處理誤差 352
你的客戶紛紛回頭 357
12.你能關(guān)聯(lián)嗎？ 關(guān)系數(shù)據(jù)庫
如何組織變化多端的多變量數(shù)據(jù)？一張電子數(shù)據(jù)表只有兩維數(shù)據(jù)：行和
列。如果你的數(shù)據(jù)包括許多方面，則表格格式很快就會(huì)過時(shí)。在本章，
你會(huì)看出電子表格很難管理多變量數(shù)據(jù)，還能看到關(guān)系數(shù)據(jù)庫管理系統(tǒng)
讓多變量數(shù)據(jù)的存儲(chǔ)和檢索變得極其簡(jiǎn)單。
《數(shù)據(jù)邦新聞》希望分析銷量 360
這是他們保存的運(yùn)營(yíng)跟蹤數(shù)據(jù) 361
你需要知道數(shù)據(jù)表之間的相互關(guān)系 362
數(shù)據(jù)庫就是一系列相互有特定關(guān)系的數(shù)據(jù) 365
找到一條貫穿各種關(guān)系的路線，以便進(jìn)行必要的比較 366
創(chuàng)建一份穿過這條路徑的電子表格 366
通過匯總將文章數(shù)目和銷量關(guān)聯(lián)起來 371
看來你的散點(diǎn)圖確實(shí)畫得很好 374
復(fù)制并粘貼所有這些數(shù)據(jù)是件痛苦的事 375
用關(guān)系數(shù)據(jù)庫管理關(guān)系 376
《數(shù)據(jù)邦新聞》利用你的關(guān)系圖建立了一個(gè)RDBMS 377
《數(shù)據(jù)邦新聞》用SQL提取數(shù)據(jù) 379
RDBMS數(shù)據(jù)可以進(jìn)行無窮無盡的比較 382
你上了封面 383
13.井然有序整理數(shù)據(jù)
亂糟糟的數(shù)據(jù)毫無用處。許多數(shù)據(jù)搜集者需要花大量時(shí)間整理數(shù)據(jù)。不
整齊的數(shù)據(jù)無法進(jìn)行分割、無法套用公式，甚至無法閱讀，被人們視而
不見也是常事，對(duì)不對(duì)？其實(shí)，你可以做得更好。只要眼前清楚地浮現(xiàn)
出希望看到的數(shù)據(jù)外觀，再用上一些文本處理工具，就能抽絲剝繭地整
理數(shù)據(jù)，化腐朽為神奇。
剛從停業(yè)的競(jìng)爭(zhēng)對(duì)手那兒搞到一份客戶名單 386
數(shù)據(jù)分析不可告人的秘密 387
Head First獵頭公司想為自己的銷售團(tuán)隊(duì)搞到這份名單 388
清理混亂數(shù)據(jù)的根本在于準(zhǔn)備 392
一旦組織好數(shù)據(jù)，就能修復(fù)數(shù)據(jù) 393
將#號(hào)作為分隔符 394
Excel通過分隔符將數(shù)據(jù)分成多個(gè)列 395
用SUBSTITUTE替換“^”字符 399
所有的“姓”都整理好了 400
用SUBSTITUTE替換名字模式太麻煩了 402
用嵌套文本公式處理復(fù)雜的模式 403
R能用正則表達(dá)式處理復(fù)雜的數(shù)據(jù)模式 404
用sub指令整理“名” 406
現(xiàn)在可以向客戶交貨了 407
可能尚未大功告成…… 408
為數(shù)據(jù)排序，讓重復(fù)數(shù)值集中出現(xiàn) 409
這些數(shù)據(jù)有可能來源于某個(gè)關(guān)系數(shù)據(jù)庫 412
刪除重復(fù)名字 413
你創(chuàng)建了美觀、整潔、具有唯一性的記錄 414
Head First獵頭公司正在一網(wǎng)打盡各種人才！ 415
再見…… 416
附錄A 尾聲
正文未及的十大要訣
你已頗有收獲。但數(shù)據(jù)分析這門技術(shù)不斷變遷，學(xué)之不盡。由于本書篇幅有
限，尚有一些密切相關(guān)的知識(shí)未予介紹，我們將在本附錄中瀏覽十大知識(shí)點(diǎn)。
其一：統(tǒng)計(jì)知識(shí)大全 418
其二：Excel技巧 419
其三：耶魯大學(xué)教授Edward Tufte（愛德華?塔夫特）的圖形原則 420
其四：數(shù)據(jù)透視表 421
其五：R社區(qū) 422
其六：非線性與多元回歸 423
其七：原假設(shè)-備擇假設(shè)檢驗(yàn) 424
其八：隨機(jī)性 424
其九：Google Docs 425
其十：你的專業(yè)技能 426
啟動(dòng)R！ 附錄B 安裝R
強(qiáng)大的數(shù)據(jù)分析功能靠的是復(fù)雜的內(nèi)部機(jī)制。好在只需幾分鐘就能安裝
和啟動(dòng)R，本附錄將介紹如何不費(fèi)吹灰之力安裝R。
附錄C 安裝Excel分析工具
ToolPak
Excel有一些最好的功能在默認(rèn)情況下并不安裝。為了執(zhí)行第3章的優(yōu)化和第
9章的直方圖，需要激活Solver和Analysis ToolPak，Excel在默認(rèn)情況下安
裝了這兩種擴(kuò)展插件，但若非用戶主動(dòng)操作，這些插件不會(huì)被激活。