跟我一起學(xué)機器學(xué)習(xí)

第1章環(huán)境配置

1.1安裝Conda

1.1.1Windows環(huán)境

1.1.2Linux環(huán)境

1.2替換源

1.3Conda環(huán)境管理

1.3.1虛擬環(huán)境安裝

1.3.2虛擬環(huán)境使用

1.4PyCharm安裝與配置

1.5小結(jié)

第2章線性回歸

2.1模型的建立與求解

2.1.1理解線性回歸模型

2.1.2建立線性回歸模型

2.1.3求解線性回歸模型

2.1.4sklearn簡介

2.1.5安裝sklearn及其他庫

2.1.6線性回歸示例代碼

2.1.7小結(jié)

2.2多變量線性回歸

2.2.1理解多變量

2.2.2多變量線性回歸建模

2.2.3多變量回歸示例代碼

2.3多項式回歸

2.3.1理解多項式

2.3.2多項式回歸建模

2.3.3多項式回歸示例代碼

2.3.4小結(jié)

2.4回歸模型評估

2.4.1常見回歸評估指標(biāo)

2.4.2回歸指標(biāo)示例代碼

2.4.3小結(jié)

2.5梯度下降

2.5.1方向?qū)?shù)與梯度

2.5.2梯度下降算法

2.5.3小結(jié)

2.6正態(tài)分布

2.6.1一個問題的出現(xiàn)

2.6.2正態(tài)分布

2.7目標(biāo)函數(shù)推導(dǎo)

2.7.1目標(biāo)函數(shù)

2.7.2求解梯度

2.7.3矢量化計算

2.7.4從零實現(xiàn)線性回歸

2.7.5小結(jié)





第3章邏輯回歸

3.1模型的建立與求解

3.1.1理解邏輯回歸模型

3.1.2建立邏輯回歸模型

3.1.3求解邏輯回歸模型

3.1.4邏輯回歸示例代碼

3.1.5小結(jié)

3.2多變量與多分類

3.2.1多變量邏輯回歸

3.2.2多分類邏輯回歸

3.2.3多分類示例代碼

3.2.4小結(jié)

3.3常見的分類評估指標(biāo)

3.3.1二分類場景

3.3.2二分類指標(biāo)示例代碼

3.3.3多分類場景

3.3.4多分類指標(biāo)示例代碼

3.3.5小結(jié)

3.4目標(biāo)函數(shù)推導(dǎo)

3.4.1映射函數(shù)

3.4.2概率表示

3.4.3極大似然估計

3.4.4求解梯度

3.4.5從零實現(xiàn)二分類邏輯回歸

3.4.6從零實現(xiàn)多分類邏輯回歸

3.4.7小結(jié)

第4章模型的改善與泛化

4.1基本概念

4.2特征標(biāo)準(zhǔn)化

4.2.1等高線

4.2.2梯度與等高線

4.2.3標(biāo)準(zhǔn)化方法

4.2.4特征組合與映射

4.2.5小結(jié)

4.3過擬合

4.3.1模型擬合

4.3.2過擬合與欠擬合

4.3.3解決欠擬合與過擬合問題

4.3.4小結(jié)

4.4正則化

4.4.1測試集導(dǎo)致糟糕的泛化誤差

4.4.2訓(xùn)練集導(dǎo)致糟糕的泛化誤差

4.4.3正則化中的參數(shù)更新

4.4.4正則化示例代碼

4.4.5小結(jié)

4.5偏差、方差與交叉驗證

4.5.1偏差與方差定義

4.5.2模型的偏差與方差

4.5.3超參數(shù)選擇

4.5.4模型選擇

4.5.5小結(jié)

4.6實例分析手寫體識別

4.6.1數(shù)據(jù)預(yù)處理

4.6.2模型選擇

4.6.3模型測試

4.6.4小結(jié)

第5章K近鄰

5.1K近鄰思想

5.2K近鄰原理

5.2.1算法原理

5.2.2K值選擇

5.2.3距離度量

5.3sklearn接口與示例代碼

5.3.1sklearn接口介紹

5.3.2K近鄰示例代碼

5.3.3小結(jié)

5.4kd樹

5.4.1構(gòu)造kd樹

5.4.2最近鄰kd樹搜索

5.4.3最近鄰搜索示例

5.4.4K近鄰kd樹搜索

5.4.5K近鄰搜索示例

5.4.6小結(jié)

第6章樸素貝葉斯

6.1樸素貝葉斯算法

6.1.1概念介紹

6.1.2理解樸素貝葉斯

6.1.3計算示例

6.1.4求解步驟

6.1.5小結(jié)

6.2貝葉斯估計

6.2.1平滑處理

6.2.2計算示例

6.2.3小結(jié)

第7章文本特征提取與模型復(fù)用

7.1詞袋模型

7.1.1理解詞袋模型

7.1.2文本分詞

7.1.3構(gòu)造詞表

7.1.4文本向量化

7.1.5考慮詞頻的文本向量化

7.1.6小結(jié)

7.2基于貝葉斯算法的垃圾郵件分類

7.2.1載入原始文本

7.2.2制作數(shù)據(jù)集

7.2.3訓(xùn)練模型

7.2.4復(fù)用模型

7.2.5小結(jié)

7.3考慮權(quán)重的詞袋模型

7.3.1理解TFIDF

7.3.2TFIDF計算原理

7.3.3TFIDF計算示例

7.3.4TFIDF示例代碼

7.3.5小結(jié)

7.4詞云圖

7.4.1生成詞云圖

7.4.2自定義樣式

7.4.3小結(jié)

第8章決策樹與集成學(xué)習(xí)

8.1決策樹的基本思想

8.1.1冠軍球隊

8.1.2信息的度量

8.1.3小結(jié)

8.2決策樹的生成之ID3與C4.5

8.2.1基本概念與定義

8.2.2計算示例

8.2.3ID3生成算法

8.2.4C4.5生成算法

8.2.5特征劃分

8.2.6小結(jié)

8.3決策樹生成與可視化

8.3.1ID3算法示例代碼

8.3.2決策樹可視化

8.3.3小結(jié)

8.4決策樹剪枝

8.4.1剪枝思想

8.4.2剪枝步驟

8.4.3剪枝示例

8.4.4小結(jié)

8.5CART生成與剪枝算法

8.5.1CART算法

8.5.2分類樹生成算法

8.5.3分類樹生成示例

8.5.4分類樹剪枝步驟

8.5.5分類樹剪枝示例

8.5.6小結(jié)

8.6集成學(xué)習(xí)

8.6.1集成學(xué)習(xí)思想

8.6.2集成學(xué)習(xí)種類

8.6.3Bagging集成學(xué)習(xí)

8.6.4Boosting集成學(xué)習(xí)

8.6.5Stacking集成學(xué)習(xí)

8.6.6小結(jié)

8.7隨機森林

8.7.1隨機森林原理

8.7.2隨機森林示例代碼

8.7.3特征重要性評估

8.7.4小結(jié)

8.8泰坦尼克號生還預(yù)測

8.8.1讀取數(shù)據(jù)集

8.8.2特征選擇

8.8.3缺失值填充

8.8.4特征值轉(zhuǎn)換

8.8.5乘客生還預(yù)測

8.8.6小結(jié)

第9章支持向量機

9.1SVM思想

9.2SVM原理

9.2.1超平面的表達(dá)

9.2.2函數(shù)間隔

9.2.3幾何間隔

9.2.4最大間隔分類器

9.2.5函數(shù)間隔的性質(zhì)

9.2.6小結(jié)

9.3SVM示例代碼與線性不可分

9.3.1線性SVM示例代碼

9.3.2從線性不可分談起

9.3.3將低維特征映射到高維空間

9.3.4SVM中的核技巧

9.3.5從高維到無窮維

9.3.6常見核函數(shù)

9.3.7小結(jié)

9.4SVM中的軟間隔

9.4.1軟間隔定義

9.4.2最大化軟間隔

9.4.3SVM軟間隔示例代碼

9.4.4小結(jié)

9.5拉格朗日乘數(shù)法

9.5.1條件極值

9.5.2求解條件極值

9.5.3小結(jié)

9.6對偶性與KKT條件

9.6.1廣義拉格朗日乘數(shù)法

9.6.2原始優(yōu)化問題

9.6.3對偶優(yōu)化問題

9.6.4KKT條件

9.6.5計算示例

9.6.6小結(jié)

9.7SVM優(yōu)化問題

9.7.1構(gòu)造硬間隔廣義拉格朗日函數(shù)

9.7.2硬間隔求解計算示例

9.7.3構(gòu)造軟間隔廣義拉格朗日函數(shù)

9.7.4軟間隔中的支持向量

9.7.5小結(jié)

9.8SMO算法

9.8.1坐標(biāo)上升算法

9.8.2SMO算法思想

9.8.3SMO算法原理

9.8.4偏置b求解

9.8.5SVM算法求解示例

9.8.6小結(jié)

第10章聚類

10.1聚類算法的思想

10.2kmeans聚類算法

10.2.1算法原理

10.2.2k值選取

10.2.3kmeans聚類示例代碼

10.2.4小結(jié)

10.3kmeans算法求解

10.3.1kmeans算法目標(biāo)函數(shù)

10.3.2求解簇中心矩陣Z

10.3.3求解簇分配矩陣U

10.3.4小結(jié)

10.4從零實現(xiàn)kmeans聚類算法

10.4.1隨機初始化簇中心

10.4.2簇分配矩陣實現(xiàn)

10.4.3簇中心矩陣實現(xiàn)

10.4.4聚類算法實現(xiàn)

10.4.5小結(jié)

10.5kmeans++聚類算法

10.5.1算法原理

10.5.2計算示例

10.5.3從零實現(xiàn)kmeans++聚類算法

10.5.4小結(jié)

10.6聚類評估指標(biāo)

10.6.1聚類純度

10.6.2蘭德系數(shù)與F值

10.6.3調(diào)整蘭德系數(shù)

10.6.4聚類指標(biāo)示例代碼

10.6.5小結(jié)

10.7加權(quán)kmeans聚類算法

10.7.1引例

10.7.2加權(quán)kmeans聚類算法思想

10.7.3加權(quán)kmeans聚類算法原理

10.7.4加權(quán)kmeans聚類算法迭代公式

10.7.5從零實現(xiàn)加權(quán)kmeans聚類算法

10.7.6參數(shù)求解

10.7.7小結(jié)