機(jī)器學(xué)習(xí)算法原理與編程實(shí)踐

第1章 機(jī)器學(xué)習(xí)的基礎(chǔ) 1
1.1 編程語(yǔ)言與開(kāi)發(fā)環(huán)境 2
1.1.1 搭建Python開(kāi)發(fā)環(huán)境 2
1.1.2 安裝Python算法庫(kù) 4
1.1.3 IDE配置及其安裝測(cè)試 5
1.2 對(duì)象、矩陣與矢量化編程 8
1.2.1 對(duì)象與維度 8
1.2.2 初識(shí)矩陣 10
1.2.3 矢量化編程與GPU運(yùn)算 13
1.2.4 理解數(shù)學(xué)公式與NumPy矩陣運(yùn)算 14
1.2.5 Linalg線(xiàn)性代數(shù)庫(kù) 18
1.3 機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ) 20
1.3.1 相似性的度量 21
1.3.2 各類(lèi)距離的意義與Python實(shí)現(xiàn) 22
1.3.3 理解隨機(jī)性 29
1.3.4 回顧概率論 30
1.3.5 多元統(tǒng)計(jì)基礎(chǔ) 32
1.3.6 特征間的相關(guān)性 33
1.3.7 再談矩陣——空間的變換 35
1.3.8 數(shù)據(jù)歸一化 40
1.4 數(shù)據(jù)處理與可視化 42
1.4.1 數(shù)據(jù)的導(dǎo)入和內(nèi)存管理 42
1.4.2 表與線(xiàn)性結(jié)構(gòu)的可視化 45
1.4.3 樹(shù)與分類(lèi)結(jié)構(gòu)的可視化 46
1.4.4 圖與網(wǎng)絡(luò)結(jié)構(gòu)的可視化 47
1.5 Linux操作系統(tǒng)下部署Python機(jī)器學(xué)習(xí)開(kāi)發(fā)環(huán)境 48
1.5.1 Linux發(fā)行版的選擇 48
1.5.2 CentOS部署多版本Python實(shí)例 49
1.5.3 安裝NumPy、SciPy、Matplotlib開(kāi)發(fā)包 52
1.5.4 安裝Scikit-Learn開(kāi)發(fā)包 54
1.6 結(jié)語(yǔ) 55
第2章 中文文本分類(lèi) 56
2.1 文本挖掘與文本分類(lèi)的概念 56
2.2 文本分類(lèi)項(xiàng)目 58
2.2.1 文本預(yù)處理 58
2.2.2 中文分詞介紹 61
2.2.3 Scikit-Learn庫(kù)簡(jiǎn)介 66
2.2.4 向量空間模型 70
2.2.5 權(quán)重策略：TF-IDF方法 71
2.2.6 使用樸素貝葉斯分類(lèi)模塊 74
2.2.7 分類(lèi)結(jié)果評(píng)估 76
2.3 分類(lèi)算法：樸素貝葉斯 78
2.3.1 貝葉斯公式推導(dǎo) 78
2.3.2 樸素貝葉斯算法實(shí)現(xiàn) 79
2.3.3 算法的改進(jìn) 82
2.3.4 評(píng)估分類(lèi)結(jié)果 82
2.4 分類(lèi)算法：kNN 83
2.4.1 kNN算法原理 83
2.4.2 kNN算法的Python實(shí)現(xiàn) 86
2.4.3 評(píng)估分類(lèi)結(jié)果 88
2.5 結(jié)語(yǔ) 88
第3章 決策樹(shù)的發(fā)展 89
3.1 決策樹(shù)的基本思想 89
3.1.1 從一個(gè)實(shí)例開(kāi)始 90
3.1.2 決策樹(shù)的算法框架 95
3.1.3 信息熵測(cè)度 96
3.2 ID3決策樹(shù) 98
3.2.1 ID3算法 98
3.2.2 ID3的實(shí)現(xiàn) 101
3.2.3 決策樹(shù)主方法 101
3.2.4 訓(xùn)練決策樹(shù) 103
3.2.5 持久化決策樹(shù) 104
3.2.6 決策樹(shù)分類(lèi) 105
3.2.7 算法評(píng)估 106
3.3 C4.5算法 106
3.3.1 信息增益率 106
3.3.2 C4.5的實(shí)現(xiàn) 108
3.3.3 訓(xùn)練決策樹(shù) 108
3.3.4 分類(lèi)數(shù)據(jù) 109
3.4 Scikit-Learn與回歸樹(shù) 110
3.4.1 回歸算法原理 110
3.4.2 *小剩余方差法 111
3.4.3 模型樹(shù) 113
3.4.4 剪枝策略 113
3.4.5 Scikit-Learn實(shí)現(xiàn) 115
3.5 結(jié)語(yǔ) 117
第4章 推薦系統(tǒng)原理 118
4.1 推薦系統(tǒng)概述 119
4.1.1 從亞馬遜網(wǎng)站認(rèn)識(shí)推薦系統(tǒng) 119
4.1.2 推薦系統(tǒng)的架構(gòu) 122
4.1.3 開(kāi)源推薦系統(tǒng) 125
4.2 協(xié)同過(guò)濾及其算法 126
4.2.1 協(xié)同過(guò)濾 126
4.2.2 數(shù)據(jù)預(yù)處理 127
4.2.3 使用Scikit-Learn的KMeans聚類(lèi) 127
4.2.4 User CF原理 129
4.2.5 Item CF原理 131
4.2.6 SVD原理與計(jì)算 132
4.3 KMeans算法詳解 135
4.3.1 KMeans算法流程 135
4.3.2 輔助函數(shù) 136
4.3.3 聚類(lèi)主函數(shù) 137
4.3.4 評(píng)估分類(lèi)結(jié)果 139
4.4 聚類(lèi)的改進(jìn)：二分KMeans算法 141
4.4.1 二分聚類(lèi)主函數(shù) 141
4.4.2 評(píng)估分類(lèi)結(jié)果 142
4.5 SVD算法詳解 143
4.5.1 SVD算法回顧 143
4.5.2 常用距離函數(shù) 146
4.5.3 SVD數(shù)據(jù)集 146
4.5.4 SVD算法主函數(shù) 147
4.5.5 評(píng)估結(jié)果 147
4.6 結(jié)語(yǔ) 148
第5章 梯度尋優(yōu) 149
5.1 **化與計(jì)算復(fù)雜性 149
5.1.1 **化理論 149
5.1.2 **化的數(shù)學(xué)描述 150
5.1.3 凸集與分離定理 151
5.1.4 凸函數(shù)及其性質(zhì) 153
5.1.5 局部**與全局** 155
5.1.6 計(jì)算復(fù)雜性與NP問(wèn)題 156
5.1.7 逐次逼近法 159
5.2 Logistic梯度下降法 163
5.2.1 梯度下降法 164
5.2.2 線(xiàn)性分類(lèi)器 166
5.2.3 Logistic函數(shù)——世界不是非黑即白 169
5.2.4 算法流程 171
5.2.5 對(duì)測(cè)試集進(jìn)行分類(lèi) 175
5.3 算法分析 175
5.3.1 超平面的變化趨勢(shì) 176
5.3.2 超平面的收斂評(píng)估 177
5.3.3 權(quán)重向量的收斂評(píng)估 179
5.3.4 算法總體評(píng)價(jià) 180
5.4 隨機(jī)梯度下降法：算法改進(jìn)與評(píng)估 180
5.4.1 主函數(shù) 181
5.4.2 程序輸出 182
5.4.3 步長(zhǎng)變化率 183
5.4.4 權(quán)重收斂評(píng)估 184
5.4.5 權(quán)重分量的變化趨勢(shì) 185
5.4.6 算法總體評(píng)價(jià) 187
5.5 結(jié)語(yǔ) 187
第6章 神經(jīng)網(wǎng)絡(luò)初步 189
6.1 神經(jīng)網(wǎng)絡(luò)簡(jiǎn)史 189
6.1.1 起源與早期發(fā)展 189
6.1.2 中期發(fā)展 190
6.1.3 當(dāng)前的發(fā)展與反思 192
6.2 BP神經(jīng)網(wǎng)絡(luò)理論 192
6.2.1 線(xiàn)性不可分問(wèn)題 192
6.2.2 BP網(wǎng)絡(luò)構(gòu)成 193
6.2.3 BP網(wǎng)絡(luò)的訓(xùn)練過(guò)程 196
6.3 BP網(wǎng)絡(luò)的實(shí)現(xiàn)和評(píng)估 199
6.3.1 BP網(wǎng)絡(luò)類(lèi)與主要方法 199
6.3.2 設(shè)計(jì)BP網(wǎng)絡(luò) 199
6.3.3 輔助函數(shù) 202
6.3.4 主函數(shù) 203
6.3.5 分類(lèi)器 204
6.3.6 執(zhí)行分類(lèi)并輸出結(jié)果 205
6.3.7 BP網(wǎng)絡(luò)評(píng)估 207
6.4 自組織特征映射神經(jīng)網(wǎng)絡(luò) 208
6.4.1 SOM網(wǎng)絡(luò)框架 208
6.4.2 SOM類(lèi) 211
6.4.3 功能函數(shù) 212
6.4.4 SOM網(wǎng)絡(luò)的實(shí)現(xiàn) 212
6.4.5 聚類(lèi)結(jié)果 213
6.5 Boltzmann機(jī)算法 215
6.5.1 問(wèn)題的提出 215
6.5.2 模擬退火原理 216
6.5.3 Boltzmann分布與退火過(guò)程 217
6.5.4 Boltzmann機(jī)類(lèi)與功能函數(shù) 219
6.5.5 *短路徑的實(shí)現(xiàn) 222
6.5.6 執(zhí)行算法 223
6.5.7 評(píng)估結(jié)果 224
6.6 結(jié)語(yǔ) 225
第7章 預(yù)測(cè)的技術(shù)與哲學(xué) 226
7.1 線(xiàn)性系統(tǒng)的預(yù)測(cè) 226
7.1.1 回歸與現(xiàn)代預(yù)測(cè)學(xué) 226
7.1.2 *小二乘法 227
7.1.3 代碼實(shí)現(xiàn) 229
7.1.4 正規(guī)方程組法 231
7.1.5 正規(guī)方程組的代碼實(shí)現(xiàn) 232
7.1.6 算法評(píng)估 232
7.2 徑向基網(wǎng)絡(luò) 233
7.2.1 RBF網(wǎng)絡(luò) 233
7.2.2 輔助函數(shù) 236
7.2.3 使用RBF預(yù)測(cè) 236
7.2.4 評(píng)估預(yù)測(cè)結(jié)果 238
7.3 嶺回歸 238
7.3.1 驗(yàn)證多重共線(xiàn)性 239
7.3.2 嶺回歸理論 240
7.3.3 嶺際分析 240
7.3.4 k值的判定 242
7.3.5 輔助函數(shù) 243
7.3.6 嶺回歸的實(shí)現(xiàn)與k值計(jì)算 243
7.3.7 算法評(píng)估 244
7.4 預(yù)測(cè)的哲學(xué) 245
7.4.1 從《周易》談起 246
7.4.2 兩儀生四象 249
7.4.3 周期三與混沌 251
7.4.4 Logistic中的吸引子 254
7.4.5 三生萬(wàn)物 258
7.4.6 八卦圖及其推演 261
7.5 結(jié)語(yǔ) 263
第8章 **分類(lèi)器——支持向量機(jī) 265
8.1 支持向量機(jī)的理論基礎(chǔ) 266
8.1.1 經(jīng)驗(yàn)風(fēng)險(xiǎn)** 266
8.1.2 關(guān)鍵定理與VC維 267
8.1.3 結(jié)構(gòu)風(fēng)險(xiǎn)** 270
8.2 SVM的數(shù)學(xué)推導(dǎo) 272
8.2.1 **間隔超平面 272
8.2.2 拉格朗日乘子法 275
8.2.3 KKT條件與對(duì)偶變換 276
8.2.4 分類(lèi)器函數(shù) 277
8.2.5 映射到高維空間 278
8.2.6 核函數(shù)法 280
8.2.7 離群點(diǎn)的松弛變量 281
8.3 SMO算法 284
8.3.1 SMO求解SVM 284
8.3.2 構(gòu)造SMO類(lèi) 288
8.3.3 主函數(shù) 290
8.3.4 訓(xùn)練數(shù)據(jù) 291
8.3.5 分類(lèi)并評(píng)估算法 293
8.4 SVM中文文本分類(lèi) 293
8.4.1 回顧中文文本分類(lèi) 294
8.4.2 Scikit-Learn SVM分類(lèi) 294
8.4.3 評(píng)估結(jié)果 295
8.5 結(jié)語(yǔ) 296
第9章 人臉識(shí)別中的機(jī)器學(xué)習(xí) 297
9.1 模式識(shí)別概述 297
9.1.1 認(rèn)知與模式 29