統(tǒng)計分析：從小數(shù)據(jù)到大數(shù)據(jù)

目錄
第1 部分　數(shù)據(jù)分析準備
第1 章　從業(yè)務到統(tǒng)計
1.1　業(yè)務需求從哪來 / 002
1.1.1　學習業(yè)務的最快途徑：閱讀運營報告 / 002
1.1.2　當務之急：研究痛點 / 004
1.1.3　數(shù)據(jù)分析之錨：未來戰(zhàn)略方向 / 005
1.1.4　對數(shù)據(jù)分析“小白”的有益建議 / 005
1.2　從小數(shù)據(jù)到大數(shù)據(jù)：數(shù)據(jù)體量與信息分布 / 008
1.2.1　實驗室：理論驗證 / 009
1.2.2　問卷：理論驗證+ 探索 / 011
1.2.3　數(shù)據(jù)庫：業(yè)務驗證+ 探索 / 012
1.2.4　數(shù)據(jù)信息與統(tǒng)計模型 / 013
1.2.5　算法應用：是否跨界 / 015
1.2.6　算法特征：角色 / 016
1.3　數(shù)據(jù)分析流程的啟示 / 019
1.3.1　假設：驗證與歸因 / 021
1.3.2　小概率：黑天鵝的不確定 / 025
1.3.3　抽樣技術：經(jīng)濟是根本 / 026
1.3.4　選擇模型：方法論 / 028
1.3.5　顯著性判斷：可證偽 / 029

第2 章　變量角色與描述
2.1　如何描述變量 / 032
2.1.1　分類變量與連續(xù)變量的分界線 / 032
2.1.2　分類變量及可視化 / 033
2.1.3　連續(xù)變量及可視化 / 037
2.2　因變量的測量 / 040
2.2.1　測量級別問題 / 040
2.2.2　是否存在測量誤差 / 045
2.2.3　誰會成為“主角” / 047
2.2.4　y 的量化場景 / 050
2.3　自變量的選擇 / 053
2.3.1　驗證性：x 的選擇 / 054
2.3.2　探索性：x 的選擇 / 054

第3 章　數(shù)據(jù)預分析
3.1　填補缺失 / 056
3.1.1　描述缺失數(shù)據(jù)：行、列、單元格 / 056
3.1.2　缺失類型：隨機性 / 060
3.1.3　小數(shù)據(jù)填補方案：精確性探討 / 061
3.1.4　大數(shù)據(jù)填補方案：速度問題探討 / 068
3.2　處理異常值 / 069
3.2.1　單變量與雙變量異常 / 069
3.2.2　無監(jiān)督異常：聚類分析 / 070
3.2.3　監(jiān)督異常：回歸殘差分析 / 073
3.2.4　小數(shù)據(jù)與大數(shù)據(jù)如何看待異常值 / 076
3.3　消除共線性 / 080
3.3.1　共線性及其危害 / 081
3.3.2　小數(shù)據(jù)的方案：嶺回歸 / 082
3.3.3　大數(shù)據(jù)方案：項目合并與逐步回歸 / 084
3.4　內(nèi)生性問題 / 088
3.4.1　內(nèi)生性及其危害 / 088
3.4.2　問題核心：特征選擇 / 089
3.4.3　三駕馬車之一：數(shù)據(jù)庫的應對策略 / 094
3.5　變量變換技術 / 102
3.5.1　正態(tài)分布變換：對數(shù)變換 / 102
3.5.2　從0 到1：老板最喜歡的符號% / 104
3.5.3　強異常值：秩的應用 / 105
3.5.4　量綱：標準化變換 / 106
3.6　編碼技術 / 107
3.6.1　為什么需要分箱化 / 107
3.6.2　分箱技術要義：數(shù)據(jù)拐點 / 111
3.7　避免過擬合 / 113
3.7.1　導致過擬合：行列問題 / 113
3.7.2　小數(shù)據(jù)為什么不談過擬合 / 114
3.7.3　避免過擬合：方法學 / 115

第２部分　構(gòu)建模型與修正技術
第4 章　線性回歸與統(tǒng)計家族
4.1　差異性問題：方差分析 / 121
4.1.1　差異的來源：主效應 / 121
4.1.2　差異的來源：交互效應 / 128
4.1.3　交互性解釋：交互效應圖制作 / 129
4.2　結(jié)構(gòu)性問題：回歸分析 / 131
4.2.1　回歸分析流程 / 131
4.2.2　相關的風向標作用：文氏圖 / 135
4.2.3　偏相關的歸因：中介和調(diào)節(jié) / 137
4.2.4　回歸系數(shù)解釋：偏回歸圖 / 142
4.2.5　如何相信R2 / 149
4.2.6　以殘差看假設 / 152
4.2.7　殘差信息的有和無 / 158
4.2.8　小數(shù)據(jù)需求歸納：重結(jié)構(gòu)輕預測 / 158
4.3　算法進化REG：小數(shù)據(jù)專家的努力 / 159
4.3.1　算法1.0：精確度+ 結(jié)構(gòu) / 160
4.3.2　算法2.0：精確度+ 結(jié)構(gòu)與預測 / 163
4.3.3　算法3.0：速度+ 預測 / 164
4.3.4　算法4.0：加速度 / 167

第5 章　Logistic 回歸與統(tǒng)計家族
5.1　預測性問題：Logistic 回歸 / 168
5.1.1　卡方的風向標作用 / 169
5.1.2　不一樣的R2：預測分類表 / 170
5.1.3　回歸系數(shù)解釋：or 值與rr 值 / 171
5.1.4　修正技術：是x 而不是y / 174
5.1.5　大數(shù)據(jù)需求歸納：輕結(jié)構(gòu)重預測 / 177
5.2　算法進化Logistic：大數(shù)據(jù)與智能 / 178
5.2.1　算法1.0：穩(wěn)定性+ 結(jié)構(gòu) / 178
5.2.2　算法2.0：穩(wěn)定性+ 結(jié)構(gòu)與預測 / 179
5.2.3　算法3.0：速度+ 預測 / 179
5.2.4　算法4.0：加速度 / 179
5.3　算法3.0 的榜樣：神經(jīng)網(wǎng)絡 / 180
5.3.1　神經(jīng)網(wǎng)絡算法 / 180
5.3.2　DM 算法預分析 / 183
5.3.3　基于神經(jīng)網(wǎng)絡的常規(guī)應用 / 185

第6 章　降維技術
6.1　主成分回歸與壓縮技術 / 192
6.1.1　四駕馬車：實驗室、問卷、數(shù)據(jù)庫、云 / 192
6.1.2　主成分算法：降維 / 192
6.1.3　主成分與因子：誰應該有名字？ / 194
6.1.4　主成分回歸：“回歸+ 回歸”模式 / 196
6.2　對應分析：一個市場調(diào)查案例 / 197
6.2.1　案例背景介紹 / 197
6.2.2　模型預分析 / 199
6.2.3　構(gòu)建模型：“廣義”雙標圖 / 203
6.2.4　結(jié)論及營銷 / 214

第３部分　模型應用與評估
第7 章　回歸類模型應用
7.1　結(jié)構(gòu)性問題：偏回歸系數(shù) / 216
7.1.1　單結(jié)構(gòu)：偏的意義 / 216
7.1.2　整體結(jié)構(gòu)：條件規(guī)則 / 217
7.2　預測性問題：估計值 / 217
7.2.1　老樣本預測：內(nèi)衍與市場細分 / 218
7.2.2　新樣本預測：外推與潛在行為 / 219
7.3　模型優(yōu)劣與模型評價 / 219
7.3.1　R2 變形記 / 219
7.3.2　圖示R2：R2 圖與ROC 曲線 / 221
7.4　模型優(yōu)劣與業(yè)務評價 / 221
7.4.1　小數(shù)據(jù)的標準：R2 / 221
7.4.2　大數(shù)據(jù)的標準：老板 / 222

第8 章　數(shù)據(jù)分析報告
8.1　可視化圖形制作 / 223
8.1.1　條形圖與折線圖 / 223
8.1.2　頻數(shù)與分布 / 223
8.1.3　多變箱體圖 / 224
8.1.4　散點圖與氣泡圖 / 225
8.2　圖形制作與格式 / 227
8.2.1　圖形制作：繪圖、顏色 / 227
8.2.2　圖形模板制作與調(diào)用 / 229
8.3　表格制作與格式 / 230
8.3.1　表格制作：制表、格式 / 230
8.3.2　表格模板制作與調(diào)用 / 232
8.3.3　OMS 控制面板 / 234
附錄A　數(shù)據(jù)集__