Python機(jī)器學(xué)習(xí)技術(shù)：模型關(guān)系管理

第 1 部分 機(jī)器學(xué)習(xí)概念與特征工程
第 1 章 機(jī)器學(xué)習(xí)的基礎(chǔ)概念 / 002
1.1 數(shù)據(jù)源 / 002
1.1.1 數(shù)值：?jiǎn)卧?/ 002
1.1.2 圖像：像素點(diǎn) / 003
1.1.3 文本：詞向量 / 004
1.2 模型的基本形式：回歸 / 006
1.2.1 文氏圖：方差分解 / 006
1.2.2 分布圖：分布與隨機(jī) / 007
1.2.3 角色：監(jiān)督與非監(jiān)督 / 008
1.2.4 模型應(yīng)用：歸因與預(yù)測(cè) / 008
1.3 模型與算法 / 013
1.3.1 模型進(jìn)化：從 1.0 到 4.0 / 013
1.3.2 算法驅(qū)動(dòng)：參數(shù)與超參數(shù) / 014
1.4 SMD 學(xué)習(xí)技術(shù) / 014
1.4.1 統(tǒng)計(jì)學(xué)習(xí)：線(xiàn)性回歸 / 014
1.4.2 機(jī)器學(xué)習(xí)：支持向量機(jī) / 015
1.4.3 深度學(xué)習(xí)：神經(jīng)網(wǎng)絡(luò) / 016
1.5 機(jī)器學(xué)習(xí)誤差源 / 018
1.5.1 誤差源 / 018
1.5.2 偏差與方差窘境 / 019
1.6 模型擬合診斷 / 020
1.6.1 模型擬合 / 020
1.6.2 模型的評(píng)估指標(biāo) / 021
1.7 數(shù)據(jù)分區(qū)技術(shù) / 024
1.7.1 數(shù)據(jù)分區(qū)：訓(xùn)練與評(píng)估 / 025
1.7.2 交叉驗(yàn)證：分區(qū)的升級(jí) / 026
1.8 集成學(xué)習(xí)方法 / 028
1.8.1 強(qiáng)分類(lèi)器：特征工程 模型 / 029
1.8.2 弱分類(lèi)器：模型 模型 / 029
1.8.3 混合專(zhuān)家：神經(jīng)網(wǎng)絡(luò) / 029
1.9 運(yùn)算加速度 / 029
1.9.1 大數(shù)據(jù)挑戰(zhàn) / 030
1.9.2 數(shù)據(jù)的高效運(yùn)算 / 030
第 2 章 特征工程技術(shù) / 032
2.1 數(shù)據(jù)變換 / 032
2.1.1 特征規(guī)范化：對(duì)中處理 / 033
2.1.2 樣本規(guī)范化：距離相似度 / 035
2.2 數(shù)據(jù)編碼 / 036
2.2.1 獨(dú)熱編碼：無(wú)序性 / 037
2.2.2 數(shù)據(jù)分箱：業(yè)務(wù)標(biāo)簽 / 038
2.3 缺失值填補(bǔ) / 039
2.3.1 中位數(shù)填補(bǔ)：穩(wěn)健 / 039
2.3.2 最近鄰填補(bǔ)：高維 / 039
2.3.3 隨機(jī)森林填補(bǔ)：“賢內(nèi)助” / 041
2.4 異常值診斷 / 045
2.4.1 單變量異常值：描述 / 045
2.4.2 多變量異常值：監(jiān)督 / 046
2.4.3 多變量異常值：非監(jiān)督 / 046
2.4.4 非結(jié)構(gòu)式異常值：自編碼器 / 047
2.5 共線(xiàn)性的危害 / 053
2.5.1 雙變量共線(xiàn)：新特征 / 053
2.5.2 多變量共線(xiàn)：特征分解 / 055
2.5.3 特征組合技術(shù) / 058
2.6 特征篩選技術(shù) / 059
2.6.1 經(jīng)驗(yàn)：“站在誰(shuí)的肩膀上” / 061
2.6.2 相關(guān)：相關(guān)系數(shù) / 061
2.6.3 回歸：特征篩選 / 061
2.6.4 降維：線(xiàn)性與非線(xiàn)性 / 062
2.6.5 工具：“指南針” / 065
2.7 聚類(lèi)技術(shù)：市場(chǎng)細(xì)分 / 066
第 2 部分 機(jī)器學(xué)習(xí)技術(shù)
第 3 章 機(jī)器學(xué)習(xí)準(zhǔn)備 / 069
3.1 機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ) / 069
3.1.1 微積分基礎(chǔ) / 069
3.1.2 向量運(yùn)算：相關(guān)分析 / 072
3.1.3 矩陣運(yùn)算：回歸模型 / 074
3.1.4 張量運(yùn)算：神經(jīng)網(wǎng)絡(luò) / 076
3.2 機(jī)器學(xué)習(xí)理解 / 077
3.2.1 連續(xù)型因變量：線(xiàn)性回歸 / 077
3.2.2 分類(lèi)型因變量：邏輯回歸 / 081
3.3 機(jī)器學(xué)習(xí)算法 / 083
3.3.1 最小二乘法：準(zhǔn)確度 / 083
3.3.2 最大似然估計(jì)法：測(cè)量 / 083
3.3.3 隨機(jī)梯度下降法：大數(shù)據(jù) / 085
第 4 章 統(tǒng)計(jì)學(xué)：回歸“進(jìn)化” / 087
4.1 大數(shù)據(jù)與回歸模型 / 087
4.1.1 統(tǒng)計(jì)學(xué)的煩惱 / 087
4.1.2 線(xiàn)性回歸的進(jìn)化 / 088
4.2 正則化約束 / 089
4.2.1 正則化技術(shù)的原理 / 089
4.2.2 LASSO 回歸與嶺回歸 / 090
4.2.3 彈性網(wǎng)的特征 / 091
4.3 案例：隨機(jī)梯度下降回歸與歸因解釋 / 092
第 5 章 神經(jīng)網(wǎng)絡(luò)模型：預(yù)測(cè) / 096
5.1 感知器模型 / 096
5.1.1 與或四門(mén)通往何方 / 096
5.1.2 感知器=線(xiàn)性回歸 / 099
5.1.3 激活函數(shù)為何是非線(xiàn)性的 / 100
5.1.4 感知器=CPU / 102
5.2 神經(jīng)網(wǎng)絡(luò)模型 / 102
5.2.1 感知器集成：網(wǎng)絡(luò)結(jié)構(gòu) / 102
5.2.2 前向傳播技術(shù)：聯(lián)立方程 / 105
5.2.3 反向傳播技術(shù)：自動(dòng)微分 / 107
5.2.4 網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)：隱含層 / 110
5.2.5 神經(jīng)網(wǎng)絡(luò)專(zhuān)題 1：特征工程 / 111
5.2.6 神經(jīng)網(wǎng)絡(luò)專(zhuān)題 2：維度災(zāi)難 / 112
5.3 案例：數(shù)據(jù)分析流與神經(jīng)網(wǎng)絡(luò) / 112

第 6 章 決策樹(shù)：歸因與可視化 / 122
6.1 決策樹(shù)模型原理 / 122
6.1.1 熵與相關(guān)性 / 122
6.1.2 決策樹(shù)概覽 / 123
6.1.3 特征分叉運(yùn)算 / 124
6.1.4 特征選擇運(yùn)算 / 125
6.1.5 決策樹(shù)與剪枝 / 128
6.2 樹(shù)模型的特征 / 128
6.3 兩類(lèi)歸因：決策樹(shù)與邏輯回歸 / 130
6.3.1 樹(shù)形圖解釋 / 130
6.3.2 S 形圖解釋 / 131
第 7 章 支持向量機(jī)：高維數(shù)據(jù) / 135
7.1 支持向量機(jī)簡(jiǎn)介 / 135
7.1.1 超平面 / 135
7.1.2 點(diǎn)距超平面 / 137
7.2 線(xiàn)性支持向量機(jī) / 138
7.2.1 硬間隔：嚴(yán)格邊界 / 138
7.2.2 軟間隔：松弛邊界 / 138
7.3 非線(xiàn)性與核技巧 / 139
7.3.1 理解核技巧 / 139
7.3.2 核函數(shù)及其應(yīng)用 / 140
7.3.3 支持向量機(jī)：經(jīng)驗(yàn)匯總 / 141
7.4 支持向量機(jī)模型運(yùn)算 / 142
7.5 案例：圖像識(shí)別與預(yù)測(cè)分類(lèi) / 144
第 8 章 關(guān)聯(lián)分析 / 148
8.1 數(shù)據(jù)源格式 / 148
8.1.1 標(biāo)準(zhǔn)數(shù)據(jù)格式 / 148
8.1.2 概念的層級(jí)性 / 149
8.2 關(guān)聯(lián)規(guī)則與度量指標(biāo) / 150
8.2.1 關(guān)聯(lián)規(guī)則度量 / 150
8.2.2 頻繁項(xiàng)集 / 151
8.2.3 Apriori 算法 / 151
8.2.4 強(qiáng)關(guān)聯(lián)規(guī)則 / 153
8.3 案例：商品關(guān)聯(lián)過(guò)濾與營(yíng)銷(xiāo)推薦 / 154
第 3 部分 模型關(guān)系管理
第 9 章 集成學(xué)習(xí)方法：弱集成 / 160
9.1 集成學(xué)習(xí)：弱分類(lèi)器 / 160
9.1.1 自抽樣法 / 161
9.1.2 套袋法與隨機(jī)森林 / 162
9.1.3 套袋法的運(yùn)算 / 163
9.1.4 隨機(jī)森林與特征工程 / 165
9.1.5 提升法與提升樹(shù) / 165
9.1.6 提升法的運(yùn)算 / 167
9.1.7 XGBoost 的原理與應(yīng)用 / 170
9.2 集成學(xué)習(xí)：聚合策略 / 173
9.2.1 簡(jiǎn)單投票法 / 174
9.2.2 堆疊法 / 175
9.2.3 理論判斷法 / 176
9.2.4 元分析法 / 177
9.2.5 結(jié)構(gòu)方程模型 / 178
第 10 章 多階段模型管理：強(qiáng)集成 / 181
10.1 特征工程與模型集成 / 181
10.1.1 機(jī)器學(xué)習(xí)與模型關(guān)系管理 / 181
10.1.2 “主成分 ”與“聚類(lèi) ”模式 / 182
10.2 多階段模型管理與案例解析 / 183
10.2.1 線(xiàn)性與非線(xiàn)性：決策樹(shù) 回歸 / 184
10.2.2 異常診斷一：異常評(píng)分 主次歸因 規(guī)則歸因 / 190
10.2.3 異常診斷二：異常規(guī)則 復(fù)雜歸因 / 195
10.2.4 經(jīng)驗(yàn)法：貝葉斯規(guī)則 回歸 / 199
10.2.5 不平衡修正：平衡性抽樣 模型集成 / 208
10.2.6 數(shù)據(jù)源：?jiǎn)柧?數(shù)據(jù)庫(kù) / 212
第 11 章 深度學(xué)習(xí)模型：混合專(zhuān)家 / 219
11.1 全連接神經(jīng)網(wǎng)絡(luò)：數(shù)值分析 / 220
11.1.1 全連接神經(jīng)網(wǎng)絡(luò)規(guī)則 / 220
11.1.2 梯度爆炸與梯度消失 / 221
11.1.3 全連接層：正則化 / 224
11.1.4 構(gòu)建全連接神經(jīng)網(wǎng)絡(luò) / 224
11.2 卷積神經(jīng)網(wǎng)絡(luò)：圖像識(shí)別 / 225
11.2.1 卷積層：核運(yùn)算 / 226
11.2.2 池化層：標(biāo)準(zhǔn)化 / 232
11.2.3 全連接層：信息傳遞 / 233
11.2.4 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò) / 234
11.3 循環(huán)神經(jīng)網(wǎng)絡(luò)：自然語(yǔ)言處理 / 237
11.3.1 概率語(yǔ)言模型 / 237
11.3.2 循環(huán)神經(jīng)網(wǎng)絡(luò) / 239
11.3.3 長(zhǎng)短期記憶網(wǎng)絡(luò) / 241
11.3.4 構(gòu)建循環(huán)神經(jīng)網(wǎng)絡(luò) / 244
第 12 章 自動(dòng)化機(jī)器學(xué)習(xí) / 246
12.1 自動(dòng)化與集成學(xué)習(xí) / 246
12.1.1 自動(dòng)化集成 / 246
12.1.2 TPOT 配置 / 247
12.1.3 案例：模型復(fù)雜度評(píng)估 / 248
12.2 數(shù)據(jù)分析流水線(xiàn) / 251
12.2.1 數(shù)據(jù)分析流 / 252
12.2.2 模型失效周期 / 255
12.2.3 知識(shí)發(fā)現(xiàn)與模型 / 258
12.2.4 流水線(xiàn)技術(shù)準(zhǔn)備 / 259
12.2.5 創(chuàng)建復(fù)雜流水線(xiàn) / 261
12.3 超參數(shù)與高效運(yùn)行 / 265
12.3.1 熱啟動(dòng) / 266
12.3.2 隨機(jī)搜索 / 266
12.3.3 貝葉斯搜索 / 268
12.3.4 增量學(xué)習(xí) / 269
總結(jié)與展望 / 272