Python數(shù)據(jù)分析與應(yīng)用

第1章　Python數(shù)據(jù)分析概述　1
任務(wù)1．1　認(rèn)識數(shù)據(jù)分析　1
1．1．1　掌握數(shù)據(jù)分析的概念　2
1．1．2　掌握數(shù)據(jù)分析的流程　2
1．1．3　了解數(shù)據(jù)分析應(yīng)用場景　4
任務(wù)1．2　熟悉Python數(shù)據(jù)分析的工具　5
1．2．1　了解數(shù)據(jù)分析常用工具　6
1．2．2　了解Python數(shù)據(jù)分析的優(yōu)勢　7
1．2．3　了解Python數(shù)據(jù)分析常用類庫　7
任務(wù)1．3　安裝Python的Anaconda發(fā)行版　9
1．3．1　了解Python的Anaconda發(fā)行版　9
1．3．2　在Windows系統(tǒng)中安裝Anaconda　9
1．3．3　在Linux系統(tǒng)中安裝Anaconda　12
任務(wù)1．4　掌握J(rèn)upyter Notebook常用功能　14
1．4．1　掌握J(rèn)upyter Notebook的基本功能　14
1．4．2　掌握J(rèn)upyter Notebook的高 級功能　16
小結(jié)　19
課后習(xí)題　19
* 2章　NumPy數(shù)值計(jì)算基礎(chǔ)　21
任務(wù)2．1　掌握NumPy數(shù)組對象ndarray　21
2．1．1　創(chuàng)建數(shù)組對象　21
2．1．2　生成隨機(jī)數(shù)　27
2．1．3　通過索引訪問數(shù)組　29
2．1．4　變換數(shù)組的形態(tài)　31
任務(wù)2．2　掌握NumPy矩陣與通用函數(shù)　34
2．2．1　創(chuàng)建NumPy矩陣　34
2．2．2　掌握ufunc函數(shù)　37
任務(wù)2．3　利用NumPy進(jìn)行統(tǒng)計(jì)分析　41
2．3．1　讀/寫文件　41
2．3．2　使用函數(shù)進(jìn)行簡單的統(tǒng)計(jì)分析　44
2．3．3　任務(wù)實(shí)現(xiàn)　48
小結(jié)　50
實(shí)訓(xùn)　50
實(shí)訓(xùn)1　創(chuàng)建數(shù)組并進(jìn)行運(yùn)算　50
實(shí)訓(xùn)2　創(chuàng)建一個(gè)國際象棋的棋盤　50
課后習(xí)題　51
第3章　Matplotlib數(shù)據(jù)可視化基礎(chǔ)　52
任務(wù)3．1　掌握繪圖基礎(chǔ)語法與常用參數(shù)　52
3．1．1　掌握pyplot基礎(chǔ)語法　53
3．1．2　設(shè)置pyplot的動(dòng)態(tài)rc參數(shù)　56
任務(wù)3．2　分析特征間的關(guān)系　59
3．2．1　繪制散點(diǎn)圖　59
3．2．2　繪制折線圖　62
3．2．3　任務(wù)實(shí)現(xiàn)　65
任務(wù)3．3　分析特征內(nèi)部數(shù)據(jù)分布與分散狀況　68
3．3．1　繪制直方圖　68
3．3．2　繪制餅圖　70
3．3．3　繪制箱線圖　71
3．3．4　任務(wù)實(shí)現(xiàn)　73
小結(jié)　77
實(shí)訓(xùn)　78
實(shí)訓(xùn)1　分析1996～2015年人口數(shù)據(jù)特征間的關(guān)系　78
實(shí)訓(xùn)2　分析1996～2015年人口數(shù)據(jù)各個(gè)特征的分布與分散狀況　78
課后習(xí)題　79
第4章　pandas統(tǒng)計(jì)分析基礎(chǔ)　80
任務(wù)4．1　讀/寫不同數(shù)據(jù)源的數(shù)據(jù)　80
4．1．1　讀/寫數(shù)據(jù)庫數(shù)據(jù)　80
4．1．2　讀/寫文本文件　83
4．1．3　讀/寫Excel文件　87
4．1．4　任務(wù)實(shí)現(xiàn)　88
任務(wù)4．2　掌握DataFrame的常用操作　89
4．2．1　查看DataFrame的常用屬性　89
4．2．2　查改增刪DataFrame數(shù)據(jù)　91
4．2．3　描述分析DataFrame數(shù)據(jù)　101
4．2．4　任務(wù)實(shí)現(xiàn)　104
任務(wù)4．3　轉(zhuǎn)換與處理時(shí)間序列數(shù)據(jù)　107
4．3．1　轉(zhuǎn)換字符串時(shí)間為標(biāo)準(zhǔn)時(shí)間　107
4．3．2　提取時(shí)間序列數(shù)據(jù)信息　109
4．3．3　加減時(shí)間數(shù)據(jù)　110
4．3．4　任務(wù)實(shí)現(xiàn)　111
任務(wù)4．4　使用分組聚合進(jìn)行組內(nèi)計(jì)算　113
4．4．1　使用groupby方法拆分?jǐn)?shù)據(jù)　114
4．4．2　使用agg方法聚合數(shù)據(jù)　116
4．4．3　使用apply方法聚合數(shù)據(jù)　119
4．4．4　使用transform方法聚合數(shù)據(jù)　121
4．4．5　任務(wù)實(shí)現(xiàn)　121
任務(wù)4．5　創(chuàng)建透視表與交叉表　123
4．5．1　使用pivot_table函數(shù)創(chuàng)建透視表　123
4．5．2　使用crosstab函數(shù)創(chuàng)建交叉表　127
4．5．3　任務(wù)實(shí)現(xiàn)　128
小結(jié)　130
實(shí)訓(xùn)　130
實(shí)訓(xùn)1　讀取并查看P2P網(wǎng)絡(luò)貸款數(shù)據(jù)主表的基本信息　130
實(shí)訓(xùn)2　提取用戶信息更新表和登錄信息表的時(shí)間信息　130
實(shí)訓(xùn)3　使用分組聚合方法進(jìn)一步分析用戶信息更新表和登錄信息表　131
實(shí)訓(xùn)4　對用戶信息更新表和登錄信息表進(jìn)行長寬表轉(zhuǎn)換　131
課后習(xí)題　131
第5章　使用pandas進(jìn)行數(shù)據(jù)預(yù)處理　133
任務(wù)5．1　合并數(shù)據(jù)　133
5．1．1　堆疊合并數(shù)據(jù)　133
5．1．2　主鍵合并數(shù)據(jù)　136
5．1．3　重疊合并數(shù)據(jù)　139
5．1．4　任務(wù)實(shí)現(xiàn)　140
任務(wù)5．2　清洗數(shù)據(jù)　141
5．2．1　檢測與處理重復(fù)值　141
5．2．2　檢測與處理缺失值　146
5．2．3　檢測與處理異常值　149
5．2．4　任務(wù)實(shí)現(xiàn)　152
任務(wù)5．3　標(biāo)準(zhǔn)化數(shù)據(jù)　154
5．3．1　離差標(biāo)準(zhǔn)化數(shù)據(jù)　154
5．3．2　標(biāo)準(zhǔn)差標(biāo)準(zhǔn)化數(shù)據(jù)　155
5．3．3　小數(shù)定標(biāo)標(biāo)準(zhǔn)化數(shù)據(jù)　156
5．3．4　任務(wù)實(shí)現(xiàn)　157
任務(wù)5．4　轉(zhuǎn)換數(shù)據(jù)　158
5．4．1　啞變量處理類別型數(shù)據(jù)　158
5．4．2　離散化連續(xù)型數(shù)據(jù)　160
5．4．3　任務(wù)實(shí)現(xiàn)　162
小結(jié)　163
實(shí)訓(xùn)　164
實(shí)訓(xùn)1　插補(bǔ)用戶用電量數(shù)據(jù)缺失值　164
實(shí)訓(xùn)2　合并線損、用電量趨勢與線路告警數(shù)據(jù)　164
實(shí)訓(xùn)3　標(biāo)準(zhǔn)化建模專家樣本數(shù)據(jù)　164
課后習(xí)題　165
第6章　使用scikit-learn構(gòu)建模型　167
任務(wù)6．1　使用sklearn轉(zhuǎn)換器處理數(shù)據(jù)　167
6．1．1　加載datasets模塊中的數(shù)據(jù)集　167
6．1．2　將數(shù)據(jù)集劃分為訓(xùn)練集和測試集　170
6．1．3　使用sklearn轉(zhuǎn)換器進(jìn)行數(shù)據(jù)預(yù)處理與降維　172
6．1．4　任務(wù)實(shí)現(xiàn)　174
任務(wù)6．2　構(gòu)建并評價(jià)聚類模型　176
6．2．1　使用sklearn估計(jì)器構(gòu)建聚類模型　176
6．2．2　評價(jià)聚類模型　179
6．2．3　任務(wù)實(shí)現(xiàn)　182
任務(wù)6．3　構(gòu)建并評價(jià)分類模型　183
6．3．1　使用sklearn估計(jì)器構(gòu)建分類模型　183
6．3．2　評價(jià)分類模型　186
6．3．3　任務(wù)實(shí)現(xiàn)　188
任務(wù)6．4　構(gòu)建并評價(jià)回歸模型　190
6．4．1　使用sklearn估計(jì)器構(gòu)建線性回歸模型　190
6．4．2　評價(jià)回歸模型　193
6．4．3　任務(wù)實(shí)現(xiàn)　194
小結(jié)　196
實(shí)訓(xùn)　196
實(shí)訓(xùn)1　使用sklearn處理wine和wine_quality數(shù)據(jù)集　196
實(shí)訓(xùn)2　構(gòu)建基于wine數(shù)據(jù)集的K-Means聚類模型　196
實(shí)訓(xùn)3　構(gòu)建基于wine數(shù)據(jù)集的SVM分類模型　197
實(shí)訓(xùn)4　構(gòu)建基于wine_quality數(shù)據(jù)集的回歸模型　197
課后習(xí)題　198
第7章　航空公司客戶價(jià)值分析　199
任務(wù)7．1　了解航空公司現(xiàn)狀與客戶價(jià)值分析　199
7．1．1　了解航空公司現(xiàn)狀　200
7．1．2　認(rèn)識客戶價(jià)值分析　201
7．1．3　熟悉航空客戶價(jià)值分析的步驟與流程　201
任務(wù)7．2　預(yù)處理航空客戶數(shù)據(jù)　202
7．2．1　處理數(shù)據(jù)缺失值與異常值　202
7．2．2　構(gòu)建航空客戶價(jià)值分析關(guān)鍵特征　202
7．2．3　標(biāo)準(zhǔn)化LRFMC模型的5個(gè)特征　206
7．2．4　任務(wù)實(shí)現(xiàn)　207
任務(wù)7．3　使用K-Means算法進(jìn)行客戶分群　209
7．3．1　了解K-Means聚類算法　209
7．3．2　分析聚類結(jié)果　210
7．3．3　模型應(yīng)用　213
7．3．4　任務(wù)實(shí)現(xiàn)　214
小結(jié)　215
實(shí)訓(xùn)　215
實(shí)訓(xùn)1　處理信用卡數(shù)據(jù)異常值　215
實(shí)訓(xùn)2　構(gòu)造信用卡客戶風(fēng)險(xiǎn)評價(jià)關(guān)鍵特征　217
實(shí)訓(xùn)3　構(gòu)建K-Means聚類模型　218
課后習(xí)題　218
第8章　財(cái)政收入預(yù)測分析　220
任務(wù)8．1　了解財(cái)政收入預(yù)測的背景與方法　220
8．1．1　分析財(cái)政收入預(yù)測背景　220
8．1．2　了解財(cái)政收入預(yù)測的方法　222
8．1．3　熟悉財(cái)政收入預(yù)測的步驟與流程　223
任務(wù)8．2　分析財(cái)政收入數(shù)據(jù)特征的相關(guān)性　223
8．2．1　了解相關(guān)性分析　223
8．2．2　分析計(jì)算結(jié)果　224
8．2．3　任務(wù)實(shí)現(xiàn)　225
任務(wù)8．3　使用Lasso回歸選取財(cái)政收入預(yù)測的關(guān)鍵特征　225
8．3．1　了解Lasso回歸方法　226
8．3．2　分析Lasso回歸結(jié)果　227
8．3．3　任務(wù)實(shí)現(xiàn)　227
任務(wù)8．4　使用灰色預(yù)測和SVR構(gòu)建財(cái)政收入預(yù)測模型　228
8．4．1　了解灰色預(yù)測算法　228
8．4．2　了解SVR算法　229
8．4．3　分析預(yù)測結(jié)果　232
8．4．4　任務(wù)實(shí)現(xiàn)　234
小結(jié)　236
實(shí)訓(xùn)　236
實(shí)訓(xùn)1　求取企業(yè)所得稅各特征間的相關(guān)系數(shù)　236
實(shí)訓(xùn)2　選取企業(yè)所得稅預(yù)測關(guān)鍵特征　237
實(shí)訓(xùn)3　構(gòu)建企業(yè)所得稅預(yù)測模型　237
課后習(xí)題　237
第9章　家用熱水器用戶行為分析與事件識別　239
任務(wù)9．1　了解家用熱水器用戶行為分析的背景與步驟　239
9．1．1　分析家用熱水器行業(yè)現(xiàn)狀　240
9．1．2　了解熱水器采集數(shù)據(jù)基本情況　240
9．1．3　熟悉家用熱水器用戶行為分析的步驟與流程　241
任務(wù)9．2　預(yù)處理熱水器用戶用水?dāng)?shù)據(jù)　242
9．2．1　刪除冗余特征　242
9．2．2　劃分用水事件　243
9．2．3　確定單次用水事件時(shí)長閾值　244
9．2．4　任務(wù)實(shí)現(xiàn)　246
任務(wù)9．3　構(gòu)建用水行為特征并篩選用水事件　247
9．3．1　構(gòu)建用水時(shí)長與頻率特征　248
9．3．2　構(gòu)建用水量與波動(dòng)特征　249
9．3．3　篩選候選洗浴事件　250
9．3．4　任務(wù)實(shí)現(xiàn)　251
任務(wù)9．4　構(gòu)建行為事件分析的BP神經(jīng)網(wǎng)絡(luò)模型　255
9．4．1　了解BP神經(jīng)網(wǎng)絡(luò)算法原理　255
9．4．2　構(gòu)建模型　259
9．4．3　評估模型　260
9．4．4　任務(wù)實(shí)現(xiàn)　260
小結(jié)　263
實(shí)訓(xùn)　263
實(shí)訓(xùn)1　清洗運(yùn)營商客戶數(shù)據(jù)　263
實(shí)訓(xùn)2　篩選客戶運(yùn)營商數(shù)據(jù)　264
實(shí)訓(xùn)3　構(gòu)建神經(jīng)網(wǎng)絡(luò)預(yù)測模型　265
課后習(xí)題　265
附錄A　267
附錄B　270
參考文獻(xiàn)　295