機器學(xué)習(xí)算法原理與編程實踐

第1章 機器學(xué)習(xí)的基礎(chǔ) 1
1.1 編程語言與開發(fā)環(huán)境 2
1.1.1 搭建Python開發(fā)環(huán)境 2
1.1.2 安裝Python算法庫 4
1.1.3 IDE配置及其安裝測試 5
1.2 對象、矩陣與矢量化編程 8
1.2.1 對象與維度 8
1.2.2 初識矩陣 10
1.2.3 矢量化編程與GPU運算 13
1.2.4 理解數(shù)學(xué)公式與NumPy矩陣運算 14
1.2.5 Linalg線性代數(shù)庫 18
1.3 機器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ) 20
1.3.1 相似性的度量 21
1.3.2 各類距離的意義與Python實現(xiàn) 22
1.3.3 理解隨機性 29
1.3.4 回顧概率論 30
1.3.5 多元統(tǒng)計基礎(chǔ) 32
1.3.6 特征間的相關(guān)性 33
1.3.7 再談矩陣——空間的變換 35
1.3.8 數(shù)據(jù)歸一化 40
1.4 數(shù)據(jù)處理與可視化 42
1.4.1 數(shù)據(jù)的導(dǎo)入和內(nèi)存管理 42
1.4.2 表與線性結(jié)構(gòu)的可視化 45
1.4.3 樹與分類結(jié)構(gòu)的可視化 46
1.4.4 圖與網(wǎng)絡(luò)結(jié)構(gòu)的可視化 47
1.5 Linux操作系統(tǒng)下部署Python機器學(xué)習(xí)開發(fā)環(huán)境 48
1.5.1 Linux發(fā)行版的選擇 48
1.5.2 CentOS部署多版本Python實例 49
1.5.3 安裝NumPy、SciPy、Matplotlib開發(fā)包 52
1.5.4 安裝Scikit-Learn開發(fā)包 54
1.6 結(jié)語 55
第2章 中文文本分類 56
2.1 文本挖掘與文本分類的概念 56
2.2 文本分類項目 58
2.2.1 文本預(yù)處理 58
2.2.2 中文分詞介紹 61
2.2.3 Scikit-Learn庫簡介 66
2.2.4 向量空間模型 70
2.2.5 權(quán)重策略：TF-IDF方法 71
2.2.6 使用樸素貝葉斯分類模塊 74
2.2.7 分類結(jié)果評估 76
2.3 分類算法：樸素貝葉斯 78
2.3.1 貝葉斯公式推導(dǎo) 78
2.3.2 樸素貝葉斯算法實現(xiàn) 79
2.3.3 算法的改進 82
2.3.4 評估分類結(jié)果 82
2.4 分類算法：kNN 83
2.4.1 kNN算法原理 83
2.4.2 kNN算法的Python實現(xiàn) 86
2.4.3 評估分類結(jié)果 88
2.5 結(jié)語 88
第3章 決策樹的發(fā)展 89
3.1 決策樹的基本思想 89
3.1.1 從一個實例開始 90
3.1.2 決策樹的算法框架 95
3.1.3 信息熵測度 96
3.2 ID3決策樹 98
3.2.1 ID3算法 98
3.2.2 ID3的實現(xiàn) 101
3.2.3 決策樹主方法 101
3.2.4 訓(xùn)練決策樹 103
3.2.5 持久化決策樹 104
3.2.6 決策樹分類 105
3.2.7 算法評估 106
3.3 C4.5算法 106
3.3.1 信息增益率 106
3.3.2 C4.5的實現(xiàn) 108
3.3.3 訓(xùn)練決策樹 108
3.3.4 分類數(shù)據(jù) 109
3.4 Scikit-Learn與回歸樹 110
3.4.1 回歸算法原理 110
3.4.2 *小剩余方差法 111
3.4.3 模型樹 113
3.4.4 剪枝策略 113
3.4.5 Scikit-Learn實現(xiàn) 115
3.5 結(jié)語 117
第4章 推薦系統(tǒng)原理 118
4.1 推薦系統(tǒng)概述 119
4.1.1 從亞馬遜網(wǎng)站認識推薦系統(tǒng) 119
4.1.2 推薦系統(tǒng)的架構(gòu) 122
4.1.3 開源推薦系統(tǒng) 125
4.2 協(xié)同過濾及其算法 126
4.2.1 協(xié)同過濾 126
4.2.2 數(shù)據(jù)預(yù)處理 127
4.2.3 使用Scikit-Learn的KMeans聚類 127
4.2.4 User CF原理 129
4.2.5 Item CF原理 131
4.2.6 SVD原理與計算 132
4.3 KMeans算法詳解 135
4.3.1 KMeans算法流程 135
4.3.2 輔助函數(shù) 136
4.3.3 聚類主函數(shù) 137
4.3.4 評估分類結(jié)果 139
4.4 聚類的改進：二分KMeans算法 141
4.4.1 二分聚類主函數(shù) 141
4.4.2 評估分類結(jié)果 142
4.5 SVD算法詳解 143
4.5.1 SVD算法回顧 143
4.5.2 常用距離函數(shù) 146
4.5.3 SVD數(shù)據(jù)集 146
4.5.4 SVD算法主函數(shù) 147
4.5.5 評估結(jié)果 147
4.6 結(jié)語 148
第5章 梯度尋優(yōu) 149
5.1 **化與計算復(fù)雜性 149
5.1.1 **化理論 149
5.1.2 **化的數(shù)學(xué)描述 150
5.1.3 凸集與分離定理 151
5.1.4 凸函數(shù)及其性質(zhì) 153
5.1.5 局部**與全局** 155
5.1.6 計算復(fù)雜性與NP問題 156
5.1.7 逐次逼近法 159
5.2 Logistic梯度下降法 163
5.2.1 梯度下降法 164
5.2.2 線性分類器 166
5.2.3 Logistic函數(shù)——世界不是非黑即白 169
5.2.4 算法流程 171
5.2.5 對測試集進行分類 175
5.3 算法分析 175
5.3.1 超平面的變化趨勢 176
5.3.2 超平面的收斂評估 177
5.3.3 權(quán)重向量的收斂評估 179
5.3.4 算法總體評價 180
5.4 隨機梯度下降法：算法改進與評估 180
5.4.1 主函數(shù) 181
5.4.2 程序輸出 182
5.4.3 步長變化率 183
5.4.4 權(quán)重收斂評估 184
5.4.5 權(quán)重分量的變化趨勢 185
5.4.6 算法總體評價 187
5.5 結(jié)語 187
第6章 神經(jīng)網(wǎng)絡(luò)初步 189
6.1 神經(jīng)網(wǎng)絡(luò)簡史 189
6.1.1 起源與早期發(fā)展 189
6.1.2 中期發(fā)展 190
6.1.3 當(dāng)前的發(fā)展與反思 192
6.2 BP神經(jīng)網(wǎng)絡(luò)理論 192
6.2.1 線性不可分問題 192
6.2.2 BP網(wǎng)絡(luò)構(gòu)成 193
6.2.3 BP網(wǎng)絡(luò)的訓(xùn)練過程 196
6.3 BP網(wǎng)絡(luò)的實現(xiàn)和評估 199
6.3.1 BP網(wǎng)絡(luò)類與主要方法 199
6.3.2 設(shè)計BP網(wǎng)絡(luò) 199
6.3.3 輔助函數(shù) 202
6.3.4 主函數(shù) 203
6.3.5 分類器 204
6.3.6 執(zhí)行分類并輸出結(jié)果 205
6.3.7 BP網(wǎng)絡(luò)評估 207
6.4 自組織特征映射神經(jīng)網(wǎng)絡(luò) 208
6.4.1 SOM網(wǎng)絡(luò)框架 208
6.4.2 SOM類 211
6.4.3 功能函數(shù) 212
6.4.4 SOM網(wǎng)絡(luò)的實現(xiàn) 212
6.4.5 聚類結(jié)果 213
6.5 Boltzmann機算法 215
6.5.1 問題的提出 215
6.5.2 模擬退火原理 216
6.5.3 Boltzmann分布與退火過程 217
6.5.4 Boltzmann機類與功能函數(shù) 219
6.5.5 *短路徑的實現(xiàn) 222
6.5.6 執(zhí)行算法 223
6.5.7 評估結(jié)果 224
6.6 結(jié)語 225
第7章 預(yù)測的技術(shù)與哲學(xué) 226
7.1 線性系統(tǒng)的預(yù)測 226
7.1.1 回歸與現(xiàn)代預(yù)測學(xué) 226
7.1.2 *小二乘法 227
7.1.3 代碼實現(xiàn) 229
7.1.4 正規(guī)方程組法 231
7.1.5 正規(guī)方程組的代碼實現(xiàn) 232
7.1.6 算法評估 232
7.2 徑向基網(wǎng)絡(luò) 233
7.2.1 RBF網(wǎng)絡(luò) 233
7.2.2 輔助函數(shù) 236
7.2.3 使用RBF預(yù)測 236
7.2.4 評估預(yù)測結(jié)果 238
7.3 嶺回歸 238
7.3.1 驗證多重共線性 239
7.3.2 嶺回歸理論 240
7.3.3 嶺際分析 240
7.3.4 k值的判定 242
7.3.5 輔助函數(shù) 243
7.3.6 嶺回歸的實現(xiàn)與k值計算 243
7.3.7 算法評估 244
7.4 預(yù)測的哲學(xué) 245
7.4.1 從《周易》談起 246
7.4.2 兩儀生四象 249
7.4.3 周期三與混沌 251
7.4.4 Logistic中的吸引子 254
7.4.5 三生萬物 258
7.4.6 八卦圖及其推演 261
7.5 結(jié)語 263
第8章 **分類器——支持向量機 265
8.1 支持向量機的理論基礎(chǔ) 266
8.1.1 經(jīng)驗風(fēng)險** 266
8.1.2 關(guān)鍵定理與VC維 267
8.1.3 結(jié)構(gòu)風(fēng)險** 270
8.2 SVM的數(shù)學(xué)推導(dǎo) 272
8.2.1 **間隔超平面 272
8.2.2 拉格朗日乘子法 275
8.2.3 KKT條件與對偶變換 276
8.2.4 分類器函數(shù) 277
8.2.5 映射到高維空間 278
8.2.6 核函數(shù)法 280
8.2.7 離群點的松弛變量 281
8.3 SMO算法 284
8.3.1 SMO求解SVM 284
8.3.2 構(gòu)造SMO類 288
8.3.3 主函數(shù) 290
8.3.4 訓(xùn)練數(shù)據(jù) 291
8.3.5 分類并評估算法 293
8.4 SVM中文文本分類 293
8.4.1 回顧中文文本分類 294
8.4.2 Scikit-Learn SVM分類 294
8.4.3 評估結(jié)果 295
8.5 結(jié)語 296
第9章 人臉識別中的機器學(xué)習(xí) 297
9.1 模式識別概述 297
9.1.1 認知與模式 29