超限學習機理論技術與應用

第1章 緒論\t1
1．1　引言　1
1．2　ELM研究背景　2
1．3　ELM概念與內(nèi)涵　3
1．3．1　快速前饋神經(jīng)網(wǎng)絡　3
1．3．2　通用機器學習單元　4
1．3．3　可信生物學習機制　5
1．4　ELM的發(fā)展歷程　6
1．4．1　第一階段（2006—2010年）：新型神經(jīng)網(wǎng)絡結構與理論　6
1．4．2　第二階段（2011—2015年）：通用學習模型構建與解釋　7
1．4．3　第三階段（2016—至今）：生物學習機制研究與硬件實現(xiàn)　7
1．5　本書內(nèi)容具體安排　8
參考文獻　8
第2章　超限學習機理論　11
2．1　ELM網(wǎng)絡模型　11
2．1．1　網(wǎng)絡結構描述　11
2．1．2　網(wǎng)絡參數(shù)學習　13
2．2　ELM網(wǎng)絡性能分析　14
2．2．1　有效擬合：隨機投影與通用逼近　15
2．2．2　快速學習：等式約束優(yōu)化　19
2．3　ELM學習機制通用性分析　23
2．3．1　顯式映射形式與參數(shù)求解策略　24
2．3．2　核化映射形式與參數(shù)對偶表示　25
2．3．3　“顯式”與“核化”的統(tǒng)一　27
2．4　本章小結　29
參考文獻　30
第3章　超限學習機分類與回歸　32
3．1　分類與回歸——ELM的統(tǒng)一性解決策略　32
3．1．1　均方誤差代價函數(shù)：分類與回歸的統(tǒng)一　33
3．1．2　等式優(yōu)化約束項：二分類與多分類的統(tǒng)一　34
3．2　標簽不平衡——加權ELM　35
3．2．1　加權ELM模型構建　36
3．2．2　加權ELM機理分析　37
3．2．3　加權ELM性能評估　39
3．3　標簽缺失——弱監(jiān)督ELM　40
3．3．1　弱監(jiān)督ELM模型構建　41
3．3．2　弱監(jiān)督ELM機理分析　45
3．3．3　弱監(jiān)督ELM性能評估　45
3．4　樣本動態(tài)更迭——在線序貫ELM　53
3．4．1　在線序貫ELM模型構建　54
3．4．2　在線序貫ELM機理分析　56
3．4．3　在線序貫ELM性能評估　56
3．5　樣本含噪——濾波型ELM　59
3．5．1　濾波型ELM模型構建　59
3．5．2　濾波型ELM機理分析　62
3．5．3　濾波型ELM性能評估　63
3．6　本章小結　66
參考文獻　66
第4章　超限學習機特征學習　69
4．1　ELM特征選擇　69
4．1．1　ELM包裹式特征選擇　71
4．1．2　ELM嵌入式特征選擇　77
4．2　ELM單隱藏層特征映射學習　80
4．2．1　有監(jiān)督隨機特征映射　81
4．2．2　無監(jiān)督特征自編碼器　87
4．3　ELM層次化特征映射學習　92
4．3．1　隨機特征映射遞歸　93
4．3．2　特征自編碼器棧式堆疊　97
4．4　ELM層次化特征映射學習與深度學習的聯(lián)系　100
4．4．1　特征映射建模：普適性與自適應性　100
4．4．2　特征優(yōu)化方法：凸優(yōu)化與非凸尋優(yōu)　102
4．5　本章小結　104
參考文獻　105
第5章　超限學習機工程實現(xiàn)　107
5．1　面向模型訓練的并行加速技術　107
5．1．1　分布式軟件架構加速　108
5．1．2　GPU平臺加速　121
5．1．3　云端集群計算平臺加速　124
5．2　面向模型測試的嵌入式實時處理系統(tǒng)設計　127
5．2．1　基于FPGA平臺的ELM模擬驗證系統(tǒng)　128
5．2．2　基于ASIC平臺的ELM實際架構系統(tǒng)　132
5．3　本章小結　146
參考文獻　147
第6章　超限學習機領域應用　149
6．1　智能安防應用實例　149
6．1．1　監(jiān)控系統(tǒng)的目標跟蹤　149
6．1．2　門禁系統(tǒng)的人臉識別　154
6．1．3　報警系統(tǒng)的行為識別　159
6．2　衛(wèi)星遙感應用實例　163
6．2．1　SAR圖像在軌變化檢測　163
6．2．2　高光譜圖像農(nóng)作物分類　170
6．2．3　可見光氣象影像云圖分類識別　176
6．3　生物醫(yī)藥應用實例　182
6．3．1　運動想像腦電信號分類　182
6．3．2　骨髓細胞分類　187
6．3．3　基因表達數(shù)據(jù)分類　192
6．4　本章小結　195
參考文獻　196
第7章　研究總結與未來展望　199
7．1　研究總結與結論　200
7．2　發(fā)展趨勢分析　200
7．2．1　應用前景　201
7．2．2　技術走向　201
7．2．3　難點與挑戰(zhàn)　203
7．3　本章小結　206
參考文獻　206
附錄A　矩陣與最優(yōu)化　208
A．1　范數(shù)及最小化　208
A．2　流形假設與圖拉普拉斯矩陣　210
A．2．1　流形假設　210
A．2．2　圖拉普拉斯矩陣　210
附錄B　概率與不等式　213
B．1　高斯分布與投影結果分析　213
B．2　不等式與投影結果的穩(wěn)定性描述　214
名詞索引　217