Python機(jī)器學(xué)習(xí)實(shí)踐

第1章 機(jī)器學(xué)習(xí)基礎(chǔ) 1
1.1 機(jī)器學(xué)習(xí)概述 1
1.1.1 什么是機(jī)器學(xué)習(xí) 1
1.1.2 機(jī)器學(xué)習(xí)發(fā)展史 3
1.1.3 機(jī)器學(xué)習(xí)、人工智能、深度學(xué)習(xí)的關(guān)系 5
1.2 機(jī)器學(xué)習(xí)相關(guān)概念 6
1.3 機(jī)器學(xué)習(xí)的任務(wù) 8
1.3.1 監(jiān)督學(xué)習(xí) 8
1.3.2 無(wú)監(jiān)督學(xué)習(xí) 8
1.3.3 半監(jiān)督學(xué)習(xí) 9
1.4 機(jī)器學(xué)習(xí)的一般步驟 9
1.5 機(jī)器學(xué)習(xí)Python基礎(chǔ) 10
1.5.1 Python開(kāi)發(fā)環(huán)境 10
1.5.2 Python基本語(yǔ)法 11
1.5.3 Python列表、元組、字典、集合 13
1.6 本章小結(jié) 18
1.7 習(xí)題 18
第2章 k近鄰算法 19
2.1 k近鄰算法原理 19
2.1.1 非參數(shù)估計(jì)與參數(shù)估計(jì) 20
2.1.2 非參數(shù)估計(jì)的一般推導(dǎo) 22
2.2 基于k近鄰算法的實(shí)現(xiàn) 23
2.2.1 利用直方圖估計(jì)概率密度、分類(lèi) 23
2.2.2 利用Parzen矩形窗估計(jì)概率密度、分類(lèi) 28
2.2.3 利用Parzen正態(tài)核估計(jì)概率密度、分類(lèi) 29
2.3 k近鄰算法應(yīng)用─鳶尾花的分類(lèi) 31
2.4 本章小結(jié) 35
2.5 習(xí)題 35


第3章 貝葉斯分類(lèi)器 37
3.1 貝葉斯定理相關(guān)概念 37
3.1.1 先驗(yàn)概率、條件概率、后驗(yàn)概率與類(lèi)條件概率 37
3.1.2 貝葉斯決策理論 38
3.1.3 極大似然估計(jì) 39
3.2 樸素貝葉斯分類(lèi)器 42
3.2.1 手工設(shè)計(jì)貝葉斯分類(lèi)器 43
3.2.2 貝葉斯分類(lèi)器的實(shí)現(xiàn) 44
3.2.3 平滑方法 46
3.3 樸素貝葉斯分類(lèi)算法實(shí)現(xiàn)─三文魚(yú)和鱸魚(yú)的分類(lèi) 48
3.3.1 算法實(shí)現(xiàn) 48
3.3.2 調(diào)用系統(tǒng)函數(shù)實(shí)現(xiàn) 55
3.4 正態(tài)貝葉斯分類(lèi)器 56
3.5 本章小結(jié) 57
3.6 習(xí)題 57
第4章 聚類(lèi) 59
4.1 聚類(lèi)算法簡(jiǎn)介 59
4.1.1 聚類(lèi)算法分類(lèi) 59
4.1.2 距離度量方法 60
4.2 K-means聚類(lèi) 62
4.3 基于密度的聚類(lèi)─DBSCAN聚類(lèi) 68
4.3.1 DBSCAN算法原理及相關(guān)概念 68
4.3.2 DBSCAN聚類(lèi)算法 69
4.4 基于層次的聚類(lèi)─AGNES聚類(lèi) 72
4.4.1 AGNES聚類(lèi)算法思想 72
4.4.2 AGNES算法實(shí)現(xiàn) 74
4.5 聚類(lèi)應(yīng)用舉例 76
4.6 各種聚類(lèi)算法的比較 79
4.7 本章小結(jié) 80
4.8 習(xí)題 80
第5章 EM算法 82
5.1 EM算法原理及推導(dǎo)過(guò)程 82
5.1.1 EM算法思想 82
5.1.2 EM算法推導(dǎo)過(guò)程 83
5.2 高斯混合聚類(lèi) 85
5.2.1 概率密度函數(shù) 85
5.2.2 高斯混合聚類(lèi)算法推導(dǎo)過(guò)程 86
5.2.3 高斯混合聚類(lèi)算法思想 87
5.2.4 高斯混合聚類(lèi)應(yīng)用舉例 88
5.3 服從0-1二項(xiàng)分布的EM算法 92
5.3.1 服從0-1二項(xiàng)分布的EM算法思想 93
5.3.2 服從0-1二項(xiàng)分布的EM算法過(guò)程模擬 94
5.3.3 服從0-1二項(xiàng)分布的EM算法實(shí)現(xiàn) 96
5.4 本章小結(jié) 98
5.5 習(xí)題 98
第6章 支持向量機(jī) 100
6.1 SVM簡(jiǎn)介 100
6.1.1 線性可分與感知機(jī) 101
6.1.2 間隔最大化及線性SVM 104
6.2 線性SVM算法實(shí)現(xiàn) 108
6.3 非線性SVM與核函數(shù) 111
6.3.1 線性不可分 111
6.3.2 對(duì)偶問(wèn)題與核函數(shù) 111
6.3.3 非線性SVM算法實(shí)現(xiàn) 115
6.4 SVM回歸 118
6.5 SVM算法實(shí)現(xiàn)─鳶尾花的分類(lèi) 120
6.5.1 sklearn中的SVC參數(shù)介紹 120
6.5.2 使用SVC對(duì)鳶尾花數(shù)據(jù)進(jìn)行分類(lèi) 121
6.6 本章小結(jié) 124
6.7 習(xí)題 125
第7章 決策樹(shù) 126
7.1 決策樹(shù)構(gòu)造基本原理 126
7.2 決策樹(shù)構(gòu)造過(guò)程 127
7.3 決策樹(shù)學(xué)習(xí)算法思想及實(shí)現(xiàn) 131
7.4 決策樹(shù)算法實(shí)現(xiàn)─泰坦尼克號(hào)幸存者預(yù)測(cè) 133
7.5 本章小結(jié) 139
7.6 習(xí)題 139
第8章 線性回歸 141
8.1 回歸分析概述 141
8.2 單變量線性回歸 142
8.2.1 梯度下降法求解線性回歸原理與實(shí)現(xiàn) 142
8.2.2 牛頓法求解線性回歸原理與實(shí)現(xiàn) 146
8.3 多變量回歸分析 150
8.3.1 多變量回歸分析原理 150
8.3.2 多變量線性回歸算法實(shí)現(xiàn) 151
8.4 多項(xiàng)式回歸分析 155
8.5 本章小結(jié) 157
8.6 習(xí)題 157
第9章 邏輯回歸 160
9.1 sigmoid函數(shù)與邏輯回歸模型 160
9.2 梯度下降與推導(dǎo)過(guò)程 161
9.3 參數(shù)學(xué)習(xí)向量化 163
9.4 邏輯回歸的Python實(shí)現(xiàn)─乳腺良性與惡性腫瘤的預(yù)測(cè) 164
9.5 評(píng)估方法 169
9.6 本章小結(jié) 173
9.7 習(xí)題 174
第10章 人工神經(jīng)網(wǎng)絡(luò) 175
10.1 從感知機(jī)到多層感知機(jī) 175
10.2 神經(jīng)網(wǎng)絡(luò)模型 178
10.3 BP神經(jīng)網(wǎng)絡(luò)算法思想及實(shí)現(xiàn) 180
10.3.1 BP神經(jīng)算法模型參數(shù)學(xué)習(xí)過(guò)程 180
10.3.2 BP神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn) 183
10.4 BP神經(jīng)網(wǎng)絡(luò)算法實(shí)現(xiàn)─鳶尾花分類(lèi) 186
10.5 本章小結(jié) 193
10.6 習(xí)題 193
第11章 綜合案例分析：垃圾郵件分類(lèi) 194
11.1 文本預(yù)處理 194
11.1.1 中文分詞 194
11.1.2 文本向量化 202
11.2 中文垃圾郵件分類(lèi)算法及實(shí)現(xiàn) 204
11.3 本章小結(jié) 208
11.4 習(xí)題 209
第12章 綜合案例分析：手寫(xiě)數(shù)字識(shí)別 210
12.1 圖像的存儲(chǔ)表示 210
12.2 數(shù)據(jù)預(yù)處理 213
12.2.1 將圖像轉(zhuǎn)換為文本 213
12.2.2 將矩陣轉(zhuǎn)換為向量 215
12.3 基于kNN的手寫(xiě)數(shù)字識(shí)別 215
12.3.1 劃分訓(xùn)練集和測(cè)試集 215
12.3.2 kNN分類(lèi)模型 216
12.3.3 kNN分類(lèi)模型評(píng)估 216
12.4 基于神經(jīng)網(wǎng)絡(luò)的手寫(xiě)數(shù)字識(shí)別 218
12.4.1 定義神經(jīng)網(wǎng)絡(luò)模型 218
12.4.2 主函數(shù) 219
12.5 本章小結(jié) 220
12.6 習(xí)題 221
第13章 綜合案例分析：零售商品銷(xiāo)售額分析與預(yù)測(cè) 222
13.1 問(wèn)題描述與分析 222
13.2 數(shù)據(jù)探索與預(yù)處理 223
13.2.1 數(shù)據(jù)探索 223
13.2.2 屬性特征的數(shù)值化 227
13.2.3 缺失值處理 228
13.3 特征選擇 231
13.4 建立回歸模型 232
13.4.1 線性回歸模型 232
13.4.2 嶺回歸模型 233
13.4.3 Lasso回歸模型 235
13.4.4 多項(xiàng)式回歸模型 236
13.4.5 隨機(jī)森林回歸模型 237
13.5 超參數(shù)選擇 239
13.6 本章小結(jié) 240
13.7 習(xí)題 241
第14章 綜合案例分析：基于協(xié)同過(guò)濾的推薦系統(tǒng) 242
14.1 推薦系統(tǒng)簡(jiǎn)介 242
14.1.1 信息檢索與推薦系統(tǒng) 242
14.1.2 推薦系統(tǒng)的前世今生 243
14.1.3 推薦系統(tǒng)的原理與分類(lèi) 244
14.1.4 推薦系統(tǒng)的評(píng)估方法 245
14.2 基于最近鄰的協(xié)同過(guò)濾推薦算法原理與實(shí)現(xiàn) 247
14.2.1 基于近鄰用戶的協(xié)同過(guò)濾推薦 247
14.2.2 基于近鄰項(xiàng)目的協(xié)同過(guò)濾推薦 255
14.3 基于隱語(yǔ)義分析的推薦模型 260
14.4 基于標(biāo)簽的推薦算法 266
14.5 本章小結(jié) 266
14.6 習(xí)題 267
參考文獻(xiàn) 268