Python數(shù)據(jù)分析：零基礎(chǔ)入門到實(shí)戰(zhàn)開發(fā)

目　錄
第1章　什么是數(shù)據(jù)分析
1.1　Python開發(fā)環(huán)境 1
1.2　數(shù)據(jù)分析的前世今生 2
1.2.1　數(shù)據(jù)分析歷史 2
1.2.2　數(shù)據(jù)分析的現(xiàn)實(shí)應(yīng)用 2
1.2.3　數(shù)據(jù)分析的技能需求 3
1.3　數(shù)據(jù)分析流程 4
1.3.1　數(shù)據(jù)導(dǎo)入、清洗 5
1.3.2　單變量分析 6
1.3.3　多變量分析 6
1.3.4　選擇模型 6
1.3.5　估計與假設(shè)檢驗(yàn) 7
1.3.6　可視化 8
1.4　數(shù)據(jù)分析經(jīng)典案例 8
1.4.1　犯罪率的下降與法律條文的生成 8
1.4.2　利用數(shù)據(jù)觀察校園作弊行為 9
1.4.3　靠統(tǒng)計學(xué)致富的數(shù)學(xué)家 11
1.5　數(shù)據(jù)分析的第一個實(shí)戰(zhàn) 12
1.5.1　單變量探索 12
1.5.2　多變量分析 16
1.5.3　選擇模型 21
1.5.4　假設(shè)檢驗(yàn) 25
第2章　Python知識進(jìn)階
2.1　Python語言 28
2.1.1　Python的歷史 29
2.1.2　Python的特色 29
2.2　Python技巧與進(jìn)階 31
2.2.1　數(shù)據(jù)類型方面的技巧 31
2.2.2　數(shù)字方面的使用技巧 32
2.2.3　枚舉 34
2.2.4　匿名函數(shù)的應(yīng)用 35
2.2.5　裝飾器：語法糖 37
2.2.6　列表生成式 39
2.2.7　迭代器與生成器 39
2.3　Python編程的易錯點(diǎn) 41
2.3.1　全局變量與局部變量 42
2.3.2　閉包 43
2.3.3　函數(shù)傳參 44
2.3.4　列表和數(shù)組的區(qū)別 45
2.3.5　變量和按引用傳遞 45
2.3.6　None：一個獨(dú)特的類型 47
2.4　小結(jié) 48
第3章　NumPy的入門與進(jìn)階
3.1　ndarray數(shù)組 49
3.1.1　ndarray數(shù)組的創(chuàng)建 49
3.1.2　C和Fortran順序 51
3.2　索引 51
3.2.1　基本索引 51
3.2.2　高維數(shù)組的索引 52
3.2.3　高階索引 54
3.3　廣播機(jī)制 56
3.4　NumPy數(shù)組的運(yùn)算 58
3.4.1　NumPy的數(shù)值計算 58
3.4.2　比較與排序 59
3.4.3　NumPy的數(shù)組計算 60
3.4.4　ufunc高級應(yīng)用 61
3.4.5　NumPy初等函數(shù)與math內(nèi)置初等函數(shù)的區(qū)別 63
3.4.6　NumPy中的多項式函數(shù) 64
3.4.7　其他功能函數(shù) 65
第4章　pandas的入門與進(jìn)階
4.1　pandas的數(shù)據(jù)結(jié)構(gòu) 66
4.1.1　Series的創(chuàng)建 67
4.1.2　Series的數(shù)值計算 68
4.1.3　DataFrame的創(chuàng)建 69
4.1.4　DataFrame的基本屬性 70
4.2　pandas數(shù)據(jù)結(jié)構(gòu)的基本操作 72
4.2.1　轉(zhuǎn)置 72
4.2.2　索引 73
4.2.3　DataFrame的關(guān)系型操作 75
4.2.4　DataFrame的畫圖操作 76
4.2.5　查看數(shù)據(jù) 80
4.3　pandas數(shù)據(jù)結(jié)構(gòu)的進(jìn)階操作 81
4.3.1　數(shù)據(jù)導(dǎo)入導(dǎo)出 81
4.3.2　表格合并 83
4.3.3　讀寫文件中的編碼問題 90
4.3.4　刪除與替換數(shù)據(jù) 92
4.3.5　表格整體性分析 96
4.3.6　GroupBy分組運(yùn)算 98
4.3.7　綜合練習(xí) 103
第5章　SciPy入門與進(jìn)階
5.1　SciPy中的常數(shù)與函數(shù) 106
5.1.1　SciPy中的常數(shù) 106
5.1.2　SciPy中的special模塊 107
5.2　SciPy中的科學(xué)計算工具 108
5.2.1　求解多元方程組 108
5.2.2　擬合方程 110
5.2.3　最優(yōu)化算法 113
5.2.4　統(tǒng)計分布 116
5.2.5　積分 120
5.2.6　插值 121
第6章　可視化
6.1　可視化的魅力 124
6.1.1　別出心裁的可視化 124
6.1.2　可視化的基本理論 126
6.1.3　可視化實(shí)例 127
6.2　matplotlib第三方庫的基本功能 131
6.2.1　matplotlib繪圖的基礎(chǔ)組件 131
6.2.2　餅圖 134
6.2.3　條形圖 139
6.2.4　散點(diǎn)圖 142
6.2.5　折線圖 145
6.2.6　箱線圖 146
6.2.7　小提琴圖 148
6.2.8　Basemap簡單介紹 150
6.3　交互式繪圖 151
6.3.1　matplotlib的簡單交互式繪圖 151
6.3.2　pyecharts可視化庫 154
第7章　時間序列
7.1　datetime庫的簡單介紹 160
7.1.1　時間坐標(biāo)的構(gòu)造 160
7.1.2　時間和字符串的轉(zhuǎn)換 161
7.2　時間序列中pandas的應(yīng)用 162
7.2.1　DatetimeIndex 162
7.2.2　pandas中時間坐標(biāo)的構(gòu)造 163
7.2.3　PeriodIndex（時間索引類型） 164
7.2.4　采樣 166
7.2.5　超前或滯后 167
7.2.6　移動窗口函數(shù) 168
7.3　時間序列的時區(qū)轉(zhuǎn)換 169
第8章　數(shù)據(jù)分析中的統(tǒng)計學(xué)
8.1　有趣的選擇 171
8.2　數(shù)據(jù)分析回答ofo多久才能退押金 172
8.3　統(tǒng)計學(xué)在數(shù)據(jù)分析中扮演的角色 178
8.4　數(shù)據(jù)預(yù)處理 178
8.4.1　數(shù)據(jù)清洗 178
8.4.2　數(shù)據(jù)集成 180
8.4.3　數(shù)據(jù)變換 181
8.5　特征工程 182
8.5.1　過濾法 183
8.5.2　包裝法 186
8.5.3　嵌入式方法 190
8.5.4　正則化 193
8.6　模型訓(xùn)練 194
8.7　模型評估 199
8.8　數(shù)據(jù)分析中的其他問題 201
8.8.1　數(shù)據(jù)泄露 201
8.8.2　大數(shù)據(jù)下的數(shù)據(jù)分析 202
8.8.3　辛普森悖論 204
8.8.4　數(shù)據(jù)集的劃分 205
8.8.5　優(yōu)化調(diào)參 206
第9章　豆瓣電影TOP 250數(shù)據(jù)分析
9.1　項目介紹 210
9.1.1　爬蟲的簡單介紹 210
9.1.2　網(wǎng)頁的構(gòu)成 210
9.1.3　實(shí)戰(zhàn)中的爬蟲技術(shù)介紹 211
9.1.4　實(shí)戰(zhàn)中數(shù)據(jù)存儲與讀取 215
9.1.5　實(shí)戰(zhàn)中的界面設(shè)計 216
9.1.6　實(shí)戰(zhàn)中的數(shù)據(jù)可視化 219
9.2　數(shù)據(jù)庫操作 224
9.2.1　數(shù)據(jù)庫的安裝與配置 225
9.2.2　數(shù)據(jù)存儲到數(shù)據(jù)庫 227
9.3　數(shù)據(jù)庫標(biāo)準(zhǔn)語言 228
9.3.1　創(chuàng)建數(shù)據(jù)庫、表 229
9.3.2　表的刪除與更新 229
9.3.3　查詢 230
9.3.4　聚合與排序 230
9.3.5　數(shù)據(jù)更新 231
9.3.6　表的集合運(yùn)算 232
9.3.7　Python和數(shù)據(jù)庫語言的關(guān)系 234
第10章　Python豐富的可視化案例
10.1　turtle庫的簡單使用 236
10.2　北上廣深租房分析可視化案例 238
10.2.1　數(shù)據(jù)爬取 238
10.2.2　讀取數(shù)據(jù) 240
10.2.3　數(shù)據(jù)分析 241
第11章　Python預(yù)測應(yīng)用——SVM預(yù)測股票漲跌
11.1　SVM介紹 246
11.1.1　SVM原理 246
11.1.2　核函數(shù) 247
11.2　SVM實(shí)戰(zhàn) 249
11.2.1　數(shù)據(jù)預(yù)處理 249
11.2.2　訓(xùn)練模型 251
11.2.3　遺傳算法 252
第12章　文本分析《三國演義》：挖掘人物圖譜
12.1　項目簡單說明 262
12.1.1　代碼分塊介紹 262
12.1.2　效果圖展示 265
12.2　工程具體實(shí)現(xiàn) 265
12.2.1　設(shè)計思想 266
12.2.2　代碼詳解 266
12.2.3　可視化 267
目　錄
第1章　什么是數(shù)據(jù)分析
1.1　Python開發(fā)環(huán)境 1
1.2　數(shù)據(jù)分析的前世今生 2
1.2.1　數(shù)據(jù)分析歷史 2
1.2.2　數(shù)據(jù)分析的現(xiàn)實(shí)應(yīng)用 2
1.2.3　數(shù)據(jù)分析的技能需求 3
1.3　數(shù)據(jù)分析流程 4
1.3.1　數(shù)據(jù)導(dǎo)入、清洗 5
1.3.2　單變量分析 6
1.3.3　多變量分析 6
1.3.4　選擇模型 6
1.3.5　估計與假設(shè)檢驗(yàn) 7
1.3.6　可視化 8
1.4　數(shù)據(jù)分析經(jīng)典案例 8
1.4.1　犯罪率的下降與法律條文的生成 8
1.4.2　利用數(shù)據(jù)觀察校園作弊行為 9
1.4.3　靠統(tǒng)計學(xué)致富的數(shù)學(xué)家 11
1.5　數(shù)據(jù)分析的第一個實(shí)戰(zhàn) 12
1.5.1　單變量探索 12
1.5.2　多變量分析 16
1.5.3　選擇模型 21
1.5.4　假設(shè)檢驗(yàn) 25
第2章　Python知識進(jìn)階
2.1　Python語言 28
2.1.1　Python的歷史 29
2.1.2　Python的特色 29
2.2　Python技巧與進(jìn)階 31
2.2.1　數(shù)據(jù)類型方面的技巧 31
2.2.2　數(shù)字方面的使用技巧 32
2.2.3　枚舉 34
2.2.4　匿名函數(shù)的應(yīng)用 35
2.2.5　裝飾器：語法糖 37
2.2.6　列表生成式 39
2.2.7　迭代器與生成器 39
2.3　Python編程的易錯點(diǎn) 41
2.3.1　全局變量與局部變量 42
2.3.2　閉包 43
2.3.3　函數(shù)傳參 44
2.3.4　列表和數(shù)組的區(qū)別 45
2.3.5　變量和按引用傳遞 45
2.3.6　None：一個獨(dú)特的類型 47
2.4　小結(jié) 48
第3章　NumPy的入門與進(jìn)階
3.1　ndarray數(shù)組 49
3.1.1　ndarray數(shù)組的創(chuàng)建 49
3.1.2　C和Fortran順序 51
3.2　索引 51
3.2.1　基本索引 51
3.2.2　高維數(shù)組的索引 52
3.2.3　高階索引 54
3.3　廣播機(jī)制 56
3.4　NumPy數(shù)組的運(yùn)算 58
3.4.1　NumPy的數(shù)值計算 58
3.4.2　比較與排序 59
3.4.3　NumPy的數(shù)組計算 60
3.4.4　ufunc高級應(yīng)用 61
3.4.5　NumPy初等函數(shù)與math內(nèi)置初等函數(shù)的區(qū)別 63
3.4.6　NumPy中的多項式函數(shù) 64
3.4.7　其他功能函數(shù) 65
第4章　pandas的入門與進(jìn)階
4.1　pandas的數(shù)據(jù)結(jié)構(gòu) 66
4.1.1　Series的創(chuàng)建 67
4.1.2　Series的數(shù)值計算 68
4.1.3　DataFrame的創(chuàng)建 69
4.1.4　DataFrame的基本屬性 70
4.2　pandas數(shù)據(jù)結(jié)構(gòu)的基本操作 72
4.2.1　轉(zhuǎn)置 72
4.2.2　索引 73
4.2.3　DataFrame的關(guān)系型操作 75
4.2.4　DataFrame的畫圖操作 76
4.2.5　查看數(shù)據(jù) 80
4.3　pandas數(shù)據(jù)結(jié)構(gòu)的進(jìn)階操作 81
4.3.1　數(shù)據(jù)導(dǎo)入導(dǎo)出 81
4.3.2　表格合并 83
4.3.3　讀寫文件中的編碼問題 90
4.3.4　刪除與替換數(shù)據(jù) 92
4.3.5　表格整體性分析 96
4.3.6　GroupBy分組運(yùn)算 98
4.3.7　綜合練習(xí) 103
第5章　SciPy入門與進(jìn)階
5.1　SciPy中的常數(shù)與函數(shù) 106
5.1.1　SciPy中的常數(shù) 106
5.1.2　SciPy中的special模塊 107
5.2　SciPy中的科學(xué)計算工具 108
5.2.1　求解多元方程組 108
5.2.2　擬合方程 110
5.2.3　最優(yōu)化算法 113
5.2.4　統(tǒng)計分布 116
5.2.5　積分 120
5.2.6　插值 121
第6章　可視化
6.1　可視化的魅力 124
6.1.1　別出心裁的可視化 124
6.1.2　可視化的基本理論 126
6.1.3　可視化實(shí)例 127
6.2　matplotlib第三方庫的基本功能 131
6.2.1　matplotlib繪圖的基礎(chǔ)組件 131
6.2.2　餅圖 134
6.2.3　條形圖 139
6.2.4　散點(diǎn)圖 142
6.2.5　折線圖 145
6.2.6　箱線圖 146
6.2.7　小提琴圖 148
6.2.8　Basemap簡單介紹 150
6.3　交互式繪圖 151
6.3.1　matplotlib的簡單交互式繪圖 151
6.3.2　pyecharts可視化庫 154
第7章　時間序列
7.1　datetime庫的簡單介紹 160
7.1.1　時間坐標(biāo)的構(gòu)造 160
7.1.2　時間和字符串的轉(zhuǎn)換 161
7.2　時間序列中pandas的應(yīng)用 162
7.2.1　DatetimeIndex 162
7.2.2　pandas中時間坐標(biāo)的構(gòu)造 163
7.2.3　PeriodIndex（時間索引類型） 164
7.2.4　采樣 166
7.2.5　超前或滯后 167
7.2.6　移動窗口函數(shù) 168
7.3　時間序列的時區(qū)轉(zhuǎn)換 169
第8章　數(shù)據(jù)分析中的統(tǒng)計學(xué)
8.1　有趣的選擇 171
8.2　數(shù)據(jù)分析回答ofo多久才能退押金 172
8.3　統(tǒng)計學(xué)在數(shù)據(jù)分析中扮演的角色 178
8.4　數(shù)據(jù)預(yù)處理 178
8.4.1　數(shù)據(jù)清洗 178
8.4.2　數(shù)據(jù)集成 180
8.4.3　數(shù)據(jù)變換 181
8.5　特征工程 182
8.5.1　過濾法 183
8.5.2　包裝法 186
8.5.3　嵌入式方法 190
8.5.4　正則化 193
8.6　模型訓(xùn)練 194
8.7　模型評估 199
8.8　數(shù)據(jù)分析中的其他問題 201
8.8.1　數(shù)據(jù)泄露 201
8.8.2　大數(shù)據(jù)下的數(shù)據(jù)分析 202
8.8.3　辛普森悖論 204
8.8.4　數(shù)據(jù)集的劃分 205
8.8.5　優(yōu)化調(diào)參 206
第9章　豆瓣電影TOP 250數(shù)據(jù)分析
9.1　項目介紹 210
9.1.1　爬蟲的簡單介紹 210
9.1.2　網(wǎng)頁的構(gòu)成 210
9.1.3　實(shí)戰(zhàn)中的爬蟲技術(shù)介紹 211
9.1.4　實(shí)戰(zhàn)中數(shù)據(jù)存儲與讀取 215
9.1.5　實(shí)戰(zhàn)中的界面設(shè)計 216
9.1.6　實(shí)戰(zhàn)中的數(shù)據(jù)可視化 219
9.2　數(shù)據(jù)庫操作 224
9.2.1　數(shù)據(jù)庫的安裝與配置 225
9.2.2　數(shù)據(jù)存儲到數(shù)據(jù)庫 227
9.3　數(shù)據(jù)庫標(biāo)準(zhǔn)語言 228
9.3.1　創(chuàng)建數(shù)據(jù)庫、表 229
9.3.2　表的刪除與更新 229
9.3.3　查詢 230
9.3.4　聚合與排序 230
9.3.5　數(shù)據(jù)更新 231
9.3.6　表的集合運(yùn)算 232
9.3.7　Python和數(shù)據(jù)庫語言的關(guān)系 234
第10章　Python豐富的可視化案例
10.1　turtle庫的簡單使用 236
10.2　北上廣深租房分析可視化案例 238
10.2.1　數(shù)據(jù)爬取 238
10.2.2　讀取數(shù)據(jù) 240
10.2.3　數(shù)據(jù)分析 241
第11章　Python預(yù)測應(yīng)用——SVM預(yù)測股票漲跌
11.1　SVM介紹 246
11.1.1　SVM原理 246
11.1.2　核函數(shù) 247
11.2　SVM實(shí)戰(zhàn) 249
11.2.1　數(shù)據(jù)預(yù)處理 249
11.2.2　訓(xùn)練模型 251
11.2.3　遺傳算法 252
第12章　文本分析《三國演義》：挖掘人物圖譜
12.1　項目簡單說明 262
12.1.1　代碼分塊介紹 262
12.1.2　效果圖展示 265
12.2　工程具體實(shí)現(xiàn) 265
12.2.1　設(shè)計思想 266
12.2.2　代碼詳解 266
12.2.3　可視化 267