Python數(shù)據(jù)分析從小白到專家

第1章 數(shù)據(jù)分析存在的意義 1
1.1 數(shù)據(jù)分析與Python 1
1.1.1 數(shù)據(jù)科學(xué)和數(shù)據(jù)分析的始末 1
1.1.2 為什么使用Python作為腳本 2
1.2 本書的主要內(nèi)容 3
1.2.1 數(shù)據(jù)分析基礎(chǔ)：NumPy、Pandas和Matplotlib庫(kù)概述 3
1.2.2 數(shù)據(jù)處理：NumPy庫(kù)簡(jiǎn)介 4
1.2.3 數(shù)據(jù)處理：Pandas庫(kù)簡(jiǎn)介 4
1.2.4 圖表繪制：Matplotlib庫(kù)簡(jiǎn)介 5
1.2.5 中堅(jiān)力量：Sklearn和Statsmodels庫(kù)簡(jiǎn)介 5
第2章 開始前的準(zhǔn)備 6
2.1 Python 3.7.6的安裝 6
2.1.1 Python3和Python2的區(qū)別 6
2.1.2 在Windows 10系統(tǒng)中下載并安裝Python 3.7.6 7
2.1.3 手動(dòng)配置環(huán)境變量 10
2.2 pip的安裝 12
2.2.1 pip是什么 12
2.2.2 在Windows系統(tǒng)中下載和安裝pip 12
2.2.3 使用pip命令下載和管理pip 14
第3章 Python編程基礎(chǔ) 17
3.1 Python編程初識(shí) 18
3.1.1 個(gè)Python程序 18
3.1.2 整型、浮點(diǎn)型、布爾型與復(fù)數(shù)型 19
3.1.3 不同數(shù)據(jù)類型之間的運(yùn)算法則 22
3.1.4 Python中的常用內(nèi)建函數(shù) 25
3.2 Python編程常用類型 27
3.2.1 Python的列表 27
3.2.2 Python的元組 31
3.2.3 Python的字典 34
3.2.4 Python的字符串 38
3.3 Python的條件、循環(huán)和分支語句以及異常處理 42
3.3.1 Python的編程風(fēng)格 42
3.3.2 錯(cuò)誤、異常和異常處理 43
3.3.3 條件語句：if、if-else和elif 45
3.3.4 循環(huán)語句：while和for 46
3.4 其他關(guān)于Python的重要知識(shí)點(diǎn) 49
3.4.1 匿名函數(shù)lambda 49
3.4.2 Python自定義類與打印函數(shù) 51
第4章 線性代數(shù)知識(shí)和第三方庫(kù)NumPy的使用 54
4.1 必要的線性代數(shù)知識(shí) 55
4.1.1 線性代數(shù)綜述 55
4.1.2 行列式 56
4.1.3 矩陣及矩陣的運(yùn)算 60
4.1.4 矩陣的初等變換與秩、向量組與線性相關(guān) 65
4.1.5 相似矩陣 67
4.2 NumPy庫(kù)的基礎(chǔ)操作 69
4.2.1 NumPy庫(kù)的安裝和基本方法 69
4.2.2 創(chuàng)建一個(gè)數(shù)組 70
4.2.3 索引、切片和迭代 73
4.2.4 拼合、劃分一個(gè)矩陣 79
4.2.5 深拷貝、淺拷貝與不拷貝 84
4.3 用NumPy庫(kù)實(shí)現(xiàn)矩陣運(yùn)算 87
4.3.1 矩陣基本運(yùn)算一（矩陣加法、矩陣減法、矩陣數(shù)乘） 87
4.3.2 矩陣基本運(yùn)算二（矩陣相乘、逆矩陣、矩陣的特征值和特征向量） 88
第5章 使用正則表達(dá)式處理數(shù)據(jù) 91
5.1 RE模塊簡(jiǎn)述 91
5.1.1 正則表達(dá)式（RE）模塊使用的符號(hào) 92
5.1.2 正則表達(dá)式的匹配規(guī)則 93
5.2 使用正則表達(dá)式模塊 94
5.2.1 匹配對(duì)象方法group()和groups()的用法 95
5.2.2 使用管道符進(jìn)行匹配 98
5.2.3 使用*、 、?、{}符號(hào)實(shí)現(xiàn)多個(gè)條件匹配 99
5.2.4 一些特殊格式的正則表達(dá)式匹配模式 100
第6章 使用Pandas庫(kù)處理數(shù)據(jù) 101
6.1 Pandas庫(kù)簡(jiǎn)述 101
6.1.1 Pandas庫(kù)能做什么 101
6.1.2 Pandas庫(kù)功能簡(jiǎn)述 105
6.2 三種格式的文件后綴簡(jiǎn)述 108
6.2.1 什么是CSV文件 108
6.2.2 Python自帶的CSV模塊 109
6.2.3 為什么要將TXT和Excel文件轉(zhuǎn)化為CSV文件 111
6.3 處理.csv格式的數(shù)據(jù) 111
6.3.1 用read_csv()和head()讀取CSV文件并顯示其行/列 112
6.3.2 查看列數(shù)、維度以及切片操作 112
6.3.3 讀取特定的列以及列的改值操作 113
6.3.4 求某一列的值、小值、算術(shù)平均數(shù)以及數(shù)據(jù)的排序 114
6.3.5 Pandas庫(kù)的寫入操作——to_csv()方法 115
6.4 處理非.csv格式的數(shù)據(jù) 116
6.4.1 用Pandas庫(kù)讀取TXT文件 116
6.4.2 用Pandas庫(kù)讀取Excel文件 118
6.5 Pandas庫(kù)的其他常用操作 121
6.5.1 新增DataFrame數(shù)據(jù)結(jié)構(gòu)的意義 121
6.5.2 創(chuàng)建與遍歷DataFrame數(shù)據(jù)結(jié)構(gòu) 122
6.5.3 檢索已有的DataFrame數(shù)據(jù)結(jié)構(gòu) 124
6.5.4 DataFrame數(shù)據(jù)結(jié)構(gòu)的選擇操作 128
6.5.5 處理DataFrame數(shù)據(jù)結(jié)構(gòu)中的缺失數(shù)據(jù) 134
第7章 使用Matplotlib庫(kù)實(shí)現(xiàn)數(shù)據(jù)可視化 136
7.1 Matplotlib庫(kù)簡(jiǎn)述 136
7.1.1 Matplotlib庫(kù)的安裝 137
7.1.2 Matplotlib庫(kù)常見的問題 138
7.2 Matplotlib庫(kù)的基本方法 139
7.2.1 設(shè)定x軸與y軸的相關(guān)內(nèi)容 139
7.2.2 “點(diǎn)”和“線”樣式的設(shè)定 144
7.3 使用Matplotlib庫(kù)繪制圖表 146
7.3.1 繪制柱狀圖 147
7.3.2 繪制直方圖 149
7.3.3 繪制散點(diǎn)圖 151
7.3.4 繪制餅狀圖 153
7.3.5 繪制折線圖 155
第8章 數(shù)學(xué)模型與數(shù)理統(tǒng)計(jì) 157
8.1 走進(jìn)數(shù)學(xué)模型 158
8.1.1 什么是數(shù)學(xué)模型 158
8.1.2 建立數(shù)學(xué)模型的一般步驟 160
8.1.3 數(shù)學(xué)模型示例 162
8.2 必要的數(shù)理統(tǒng)計(jì)知識(shí) 164
8.2.1 樣本、總體、個(gè)體、統(tǒng)計(jì)量 164
8.2.2 3個(gè)重要的分布：χ2分布、t分布、f分布 165
8.2.3 點(diǎn)估計(jì)、矩估計(jì)與區(qū)間估計(jì) 167
8.2.4 全概率公式和貝葉斯公式 168
8.2.5 依概率收斂與切比雪夫不等式 170
第9章 線性回歸 172
9.1 小二乘法與切比雪夫準(zhǔn)則 172
9.1.1 小二乘法的數(shù)學(xué)原理 173
9.1.2 切比雪夫準(zhǔn)則的數(shù)學(xué)原理 175
9.2 OLS回歸模型 175
9.2.1 OLS回歸模型的概念 176
9.2.2 如何生成測(cè)試數(shù)據(jù) 176
9.2.3 OLS回歸模型的代碼實(shí)現(xiàn)和可視化 179
9.3 LAD回歸模型 182
9.3.1 LAD回歸模型的概念 182
9.3.2 LAD回歸模型的代碼實(shí)現(xiàn)和可視化 183
9.4 OLS回歸模型與LAD回歸模型 186
9.4.1 比較OLS回歸模型與LAD回歸模型的擬合曲線 186
9.4.2 簡(jiǎn)單的一元線性回歸分析的代碼展示 187
9.5 從極大似然估計(jì)再審視線性回歸 189
9.5.1 從傳統(tǒng)的數(shù)理統(tǒng)計(jì)到線性回歸 189
9.5.2 極大似然估計(jì) 190
9.5.3 假設(shè)檢驗(yàn)基本概念 191
9.5.4 區(qū)間估計(jì)、置信區(qū)間和置信限 192
第10章 分類問題與邏輯回歸 197
10.1 邏輯回歸：從分類問題談起 197
10.1.1 從線性回歸到分類問題 198
10.1.2 邏輯回歸與Sigmoid函數(shù) 199
10.1.3 使用極大似然估計(jì)計(jì)算Sigmoid函數(shù)的損失函數(shù) 201
10.1.4 邏輯回歸模型求解的本質(zhì) 202
10.2 從梯度上升法與梯度下降法到邏輯回歸 202
10.2.1 梯度上升法和梯度下降法的由來 202
10.2.2 梯度下降法及梯度上升法的數(shù)學(xué)原理 203
10.2.3 用Python實(shí)現(xiàn)邏輯回歸 206
10.2.4 題外話：從用Python實(shí)現(xiàn)邏輯回歸中看psutil庫(kù) 216
10.2.5 邏輯回歸可視化：繪制決策邊界 220
第11章 模型評(píng)估與模型改進(jìn) 223
11.1 線性回歸模型的評(píng)估與改進(jìn) 223
11.1.1 線性回歸模型的評(píng)估 224
11.1.2 模型改進(jìn)：從一元線性回歸到多元線性回歸問題 231
11.1.3 模型改進(jìn)：過度擬合與添加、設(shè)定懲罰項(xiàng) 238
11.2 邏輯回歸模型的評(píng)估與改進(jìn) 239
11.2.1 分類模型的評(píng)估：查準(zhǔn)率、查全率及F-score 239
11.2.2 分類模型的評(píng)估：ROC曲線、AUC指標(biāo) 241
11.2.3 模型改進(jìn)：隨機(jī)梯度下降法 242
11.2.4 邏輯回歸終代碼展示（使用隨機(jī)梯度下降法） 245
第12章 聚類：K-means算法 248
12.1 K-means算法及相關(guān)內(nèi)容的基本概念 248
12.1.1 聚類與機(jī)器學(xué)習(xí)的概念 249
12.1.2 聚類：K-means算法的原理 250
12.2 K-means算法的Python實(shí)現(xiàn) 253
12.2.1 樸素的K-means算法的Python實(shí)現(xiàn) 253
12.2.2 樸素的K-means算法的Python實(shí)現(xiàn)的具體解析 256
12.2.3 模型改進(jìn)：使用不同顏色和形狀標(biāo)記不同的簇 261
12.2.4 K-means算法改進(jìn)：使用二分K-means算法 263

第13章 分類：KNN算法 271
13.1 KNN算法的基本概念 271
13.1.1 KNN算法的相關(guān)概念 271
13.1.2 KNN算法原理概述 272
13.2 KNN算法的Python實(shí)現(xiàn) 274
13.2.1 制作測(cè)試用例數(shù)據(jù)集 274
13.2.2 KKN算法的具體實(shí)現(xiàn) 279
13.2.3 KKN算法的完整代碼 282
13.3 結(jié)語：關(guān)于數(shù)據(jù)分析 285
13.3.1 決策樹之前：樹的概念 285
13.3.2 信息熵和決策樹 285
13.3.3 寫在后的話：留給機(jī)器學(xué)習(xí) 286