數(shù)據(jù)分析實戰(zhàn)

Contents目錄
推薦序
譯者序
前言
致謝
關(guān)于作者
關(guān)于審稿人
第1章準備數(shù)據(jù)1
1.1導(dǎo)論1
1.2使用Python讀寫CSV/TSV文件2
1.3使用Python讀寫JSON文件6
1.4使用Python讀寫Excel文件7
1.5使用Python讀寫XML文件10
1.6使用pandas檢索HTML頁面13
1.7存儲并檢索關(guān)系數(shù)據(jù)庫15
1.8存儲并檢索MongoDB18
1.9使用OpenRefine打開并轉(zhuǎn)換數(shù)據(jù)20
1.10使用OpenRefine探索數(shù)據(jù)23
1.11排重25
1.12使用正則表達式與GREL清理數(shù)據(jù)27
1.13插補缺失值28
1.14將特征規(guī)范化、標準化29
1.15分級數(shù)據(jù)30
1.16編碼分類變量32
第2章探索數(shù)據(jù)34
2.1導(dǎo)論34
2.2生成描述性的統(tǒng)計數(shù)據(jù)34
2.3探索特征之間的相關(guān)性37
2.4可視化特征之間的相互作用38
2.5生成直方圖43
2.6創(chuàng)建多變量的圖表46
2.7數(shù)據(jù)取樣49
2.8將數(shù)據(jù)集拆分成訓練集、交叉驗證集和測試集51
第3章分類技巧53
3.1導(dǎo)論53
3.2測試并比較模型53
3.3樸素貝葉斯分類器56
3.4將邏輯回歸作為通用分類器使用58
3.5將支持向量機用作分類引擎61
3.6使用決策樹進行分類65
3.7使用隨機森林預(yù)測訂閱者69
3.8使用神經(jīng)網(wǎng)絡(luò)對呼叫進行分類72
第4章聚類技巧79
4.1導(dǎo)論79
4.2評估聚類方法的表現(xiàn)79
4.3用k均值算法聚類數(shù)據(jù)82
4.4為k均值算法找到最優(yōu)的聚類數(shù)84
4.5使用meanshift聚類模型發(fā)現(xiàn)聚類90
4.6使用c均值構(gòu)建模糊聚類模型91
4.7使用層次模型聚類數(shù)據(jù)93
4.8使用DBSCAN和BIRCH算法發(fā)現(xiàn)潛在的訂閱者96
第5章降維99
5.1導(dǎo)論99
5.2創(chuàng)建三維散點圖，顯示主成分99
5.3使用核PCA降維102
5.4用主成分分析找到關(guān)鍵因素105
5.5使用隨機PCA在數(shù)據(jù)中尋找主成分109
5.6使用線性判別分析提取有用的維度114
5.7用kNN分類模型給電話分類時使用多種降維技巧117
第6章回歸模型122
6.1導(dǎo)論122
6.2識別并解決數(shù)據(jù)中的多重共線性124
6.3構(gòu)建線性回歸模型128
6.4使用OLS預(yù)測生產(chǎn)的電量134
6.5使用CART估算發(fā)電廠生產(chǎn)的電量138
6.6將kNN模型用于回歸問題141
6.7將隨機森林模型用于回歸分析143
6.8使用SVM預(yù)測發(fā)電廠生產(chǎn)的電量145
6.9訓練神經(jīng)網(wǎng)絡(luò)，預(yù)測發(fā)電廠生產(chǎn)的電量151
第7章時間序列技術(shù)154
7.1導(dǎo)論154
7.2在Python中如何處理日期對象155
7.3理解時間序列數(shù)據(jù)159
7.4平滑并轉(zhuǎn)換觀測值163
7.5過濾時間序列數(shù)據(jù)166
7.6移除趨勢和季節(jié)性169
7.7使用ARMA和ARIMA模型預(yù)測未來173
第8章圖181
8.1導(dǎo)論181
8.2使用NetworkX在Python中處理圖對象182
8.3使用Gephi將圖可視化190
8.4識別信用卡信息被盜的用戶200
8.5識別誰盜竊了信用卡204
第9章自然語言處理207
9.1導(dǎo)論207
9.2從網(wǎng)絡(luò)讀入原始文本208
9.3標記化和標準化212
9.4識別詞類，處理n-gram，識別命名實體218
9.5識別文章主題224
9.6識別句子結(jié)構(gòu)226
9.7根據(jù)評論給影片歸類229
第10章離散選擇模型233
10.1導(dǎo)論233
10.2準備數(shù)據(jù)集以估算離散選擇模型235
10.3估算知名的多項Logit模型239
10.4測試來自無關(guān)選項的獨立性沖突244
10.5用巢式Logit模型處理IIA沖突249
10.6用混合Logit模型處理復(fù)雜的替代模式251
第11章模擬254
11.1導(dǎo)論254
11.2使用SimPy模擬加油站的加油過程255
11.3模擬電動車耗盡電量的場景264
11.4判斷羊群面對群狼時是否有團滅的風險269