人工智能數(shù)學(xué)基礎(chǔ)與Python機(jī)器學(xué)習(xí)實(shí)戰(zhàn)

第1章 走進(jìn)機(jī)器學(xué)習(xí)的世界 1
1.1　機(jī)器學(xué)習(xí)概述 2
1.1.1　什么是機(jī)器學(xué)習(xí) 2
1.1.2　機(jī)器學(xué)習(xí)的分類 2
1.1.3　常用的機(jī)器學(xué)習(xí)算法 3
1.1.4　機(jī)器學(xué)習(xí)的流程 5
1.2　Python編程語(yǔ)言 6
1.2.1　Python環(huán)境搭建 6
1.2.2　機(jī)器學(xué)習(xí)相關(guān)軟件包介紹 8
1.3　機(jī)器學(xué)習(xí)的數(shù)學(xué)知識(shí) 9
1.3.1　導(dǎo)數(shù) 9
1.3.2　基本函數(shù)的求導(dǎo)公式 9
1.3.3　求導(dǎo)法則 10
1.3.4　Python實(shí)現(xiàn)求導(dǎo) 10
1.3.5　泰勒展開式 12
1.3.6　微積分基本定理 14
1.3.7　基本函數(shù)的積分公式 14
1.3.8　Python實(shí)現(xiàn)積分 16
第2章 人工智能數(shù)學(xué)基礎(chǔ) 18
2.1　線性代數(shù) 19
2.1.1　向量及其線性運(yùn)算 19
2.1.2　矩陣及其線性運(yùn)算 20
2.2　隨機(jī)變量 26
2.2.1　離散型隨機(jī)變量 26
2.2.2　連續(xù)型隨機(jī)變量 27
2.3　隨機(jī)變量概率分布 28
2.3.1　伯努利分布 28
2.3.2　泊松分布 29
2.3.3　指數(shù)分布 30
2.3.4　二項(xiàng)分布 31
2.3.5　正態(tài)分布 32
2.3.6　伽馬分布 33
2.3.7　貝塔分布 34
2.3.8　卡方分布 35
2.3.9　t分布 37
2.3.10　F分布 40
第3章 數(shù)據(jù)獲取和預(yù)處理 42
3.1　數(shù)據(jù)獲取 43
3.1.1　自帶和下載數(shù)據(jù)集 43
3.1.2　創(chuàng)建數(shù)據(jù)集 45
3.1.3　數(shù)據(jù)集 49
3.2　標(biāo)準(zhǔn)化 50
3.2.1　Z?score標(biāo)準(zhǔn)化 50
3.2.2　Min?Max標(biāo)準(zhǔn)化 51
3.3　二值化 52
3.3.1　特征二值化 52
3.3.2　標(biāo)簽二值化 53
3.4　特征處理 54
3.4.1　獨(dú)熱編碼 54
3.4.2　多項(xiàng)式特征 56
3.4.3　PCA降維 57
3.5　數(shù)據(jù)清洗 59
3.5.1　Pandas數(shù)據(jù)清洗 59
3.5.2　sklearn處理缺失值 62
3.6　文本特征提取 64
3.6.1　字典提取器 64
3.6.2　詞袋模型 65
3.6.3　權(quán)重向量 67
3.7　圖像特征提取 69
3.7.1　提取像素矩陣 69
3.7.2　提取角點(diǎn) 71
3.7.3　提取輪廓 74
3.7.4　提取局部特征點(diǎn) 74
3.8　特征選擇 76
3.8.1　Filter過濾法 76
3.8.2　Wrapper包裝法 78
3.8.3　Embedded嵌入法 79
第4章 線性回歸和邏輯回歸 81
4.1　線性回歸 82
4.1.1　最小二乘法 82
4.1.2　梯度下降法 84
4.1.3　線性回歸實(shí)現(xiàn) 86
4.1.4　Lasso回歸和嶺回歸 90
4.1.5　回歸模型評(píng)估 93
4.1.6　多項(xiàng)式回歸 94
4.2　邏輯回歸 96
4.2.1　邏輯回歸算法 96
4.2.2　邏輯回歸實(shí)現(xiàn) 98
4.2.3　分類模型評(píng)估 100
第5章 KNN和貝葉斯分類算法 107
5.1　KNN算法 108
5.1.1　KNN算法的距離度量 108
5.1.2　KNN算法代碼實(shí)現(xiàn) 112
5.1.3　交叉驗(yàn)證 113
5.1.4　KD樹 115
5.2　貝葉斯分類算法 118
5.2.1　貝葉斯定理 118
5.2.2　高斯樸素貝葉斯 119
5.2.3　多項(xiàng)式樸素貝葉斯 121
5.2.4　伯努利樸素貝葉斯 123
第6章 決策樹和隨機(jī)森林 125
6.1　決策樹 126
6.1.1　熵 126
6.1.2　決策樹算法 129
6.1.3　剪枝算法 131
6.2　決策樹代碼實(shí)現(xiàn) 133
6.2.1　可視化決策樹 133
6.2.2　分類樹 136
6.2.3　回歸樹 143
6.3　隨機(jī)森林 144
6.3.1　集成學(xué)習(xí)算法 144
6.3.2　隨機(jī)森林分類 145
6.3.3　隨機(jī)森林回歸 148
第7章 支持向量機(jī) 150
7.1　SVM核心概念 151
7.1.1　線性可分 151
7.1.2　核函數(shù) 153
7.2　SVM代碼實(shí)現(xiàn) 154
7.2.1　SVC 154
7.2.2　SVM人臉識(shí)別 158
7.2.3　SVR 161
第8章 聚類算法 163
8.1　K?means聚類算法 164
8.1.1　K?means聚類算法原理 164
8.1.2　模型評(píng)估 166
8.1.3　圖像處理 167
8.1.4　K?means聚類算法實(shí)例 169
8.2　層次聚類算法 173
8.2.1　層次聚類算法原理 173
8.2.2　層次聚類算法實(shí)例 174
8.3　密度聚類算法 176
8.3.1　密度聚類算法原理 176
8.3.2　密度聚類算法實(shí)例 177
第9章 EM和HMM聚類算法 179
9.1　EM聚類算法 180
9.1.1　最大似然估計(jì) 180
9.1.2　詹森不等式 181
9.1.3　EM算法原理 182
9.2　EM算法代碼實(shí)現(xiàn) 183
9.3　HMM聚類算法 186
9.3.1　馬爾可夫過程 186
9.3.2　隱馬爾可夫模型 187
第10章 主題模型 190
10.1　LDA主題模型 191
10.1.1　Dirichlet分布 191
10.1.2　LDA貝葉斯模型 192
10.2　自然語(yǔ)言處理常用工具包 193
10.2.1　NLTK 193
10.2.2　spaCy 196
10.2.3　Gensim 197
10.2.4　jieba 201
10.2.5　Stanford NLP 202
10.2.6　FuzzyWuzzy 203
10.2.7　HanLP 204
10.3　LDA主題模型實(shí)例 207
第11章 推薦算法 212
11.1　關(guān)聯(lián)規(guī)則 213
11.1.1　置信度 213
11.1.2　支持度 213
11.1.3　提升度 214
11.1.4　關(guān)聯(lián)規(guī)則代碼實(shí)現(xiàn) 214
11.2　基于用戶行為的推薦算法 217
11.2.1　矩陣分解 217
11.2.2　SVD算法代碼實(shí)現(xiàn) 219
11.3　基于評(píng)分的推薦算法 221
11.3.1　SlopeOne算法 221
11.3.2　SlopeOne算法代碼實(shí)現(xiàn) 222
11.4　協(xié)同過濾 222
第12章 數(shù)據(jù)建模 226
12.1　監(jiān)督學(xué)習(xí) 227
12.1.1　監(jiān)督學(xué)習(xí)回歸 227
12.1.2　監(jiān)督學(xué)習(xí)分類 228
12.2　半監(jiān)督學(xué)習(xí) 235
12.2.1　標(biāo)簽傳播算法 235
12.2.2　半監(jiān)督學(xué)習(xí)分類 236
12.3　保存模型 239
12.3.1　pickle 239
12.3.2　joblib 240
12.3.3　sklearn2pmml 240
第13章 Spark機(jī)器學(xué)習(xí) 244
13.1　Spark分布式集群搭建 245
13.1.1　創(chuàng)建CentOS 7虛擬機(jī) 245
13.1.2　設(shè)置靜態(tài)IP 247
13.1.3　配置SSH服務(wù) 248
13.1.4　安裝Java 248
13.1.5　搭建三臺(tái)CentOS 7主機(jī) 249
13.1.6　修改hosts文件 250
13.1.7　配置SSH免密碼登錄 251
13.1.8　搭建Hadoop集群 252
13.1.9　搭建ZooKeeper集群 255
13.1.10　啟動(dòng)Hadoop和ZooKeeper集群 257
13.1.11　搭建Spark集群 260
13.2　Hadoop和Spark的基礎(chǔ)知識(shí) 262
13.2.1　HDFS 262
13.2.2　Spark Shell 264
13.2.3　RDD編程 268
13.2.4　Spark SQL 273
13.3　Spark MLlib 279
13.3.1　回歸模型 279
13.3.2　分類模型 281