人工神經(jīng)網(wǎng)絡與模擬進化計算（清華大學信息科學技術學院教材）

第1章 緒論1
1.1 神經(jīng)網(wǎng)絡的發(fā)展與應用1
1.2 人工神經(jīng)元模型2
1.3 用有向圖表示神經(jīng)網(wǎng)絡4
1.4 網(wǎng)絡結構及工作方式5
1.5 NN的學習7
1.5.1 學習方式7
1.5.2 學習算法7
1.5.3 學習與自適應9
習題9
參考文獻10
第2章 前饋網(wǎng)絡11
2.1 線性閾值單元11
2.1.1 用線性閾值單元實現(xiàn)布爾函數(shù)11
2.1.2 線性可分性12
2.1.3 n維歐氏空間中m個點上可實現(xiàn)的線性可分函數(shù)的個數(shù)13
2.2 多層前饋網(wǎng)絡的計算能力及函數(shù)逼近15
2.3 感知器的學習算法17
2.4 反向傳播學習算法19
2.5 改進反向傳播算法收斂速度的措施26
2.5.1 加入動量項26
2.5.2 高階導數(shù)的利用27
2.5.3 共軛梯度法27
2.5.4 遞推最小二乘法28
2.5.5 神經(jīng)元空間搜索法28
2.5.6 一些其他措施30
2.6 多層前饋網(wǎng)絡作用的分析31
2.6.1 線性網(wǎng)絡32
2.6.2 非線性情況33
2.7 應用舉例34
習題45
參考文獻48
第3章 徑向基函數(shù)網(wǎng)絡51
3.1 φ可分性51
3.2 函數(shù)逼近與內(nèi)插52
3.3 正規(guī)化理論53
3.4 RBF網(wǎng)絡的學習60
3.5 RBF網(wǎng)絡的一些變形63
3.6 CMAC網(wǎng)絡64
3.6.1 模型結構64
3.6.2 工作原理分析66
3.6.3 學習算法69
3.7 概率神經(jīng)網(wǎng)絡70
3.8 小波網(wǎng)絡71
3.9 泛函連接網(wǎng)絡72
3.10 新一代神經(jīng)元模型及其計算能力的研究74
3.10.1 布爾函數(shù)的計算75
3.10.2 連續(xù)輸入的情況75
3.10.3 脈沖耦合神經(jīng)網(wǎng)絡76
參考文獻81
第4章 學習理論與網(wǎng)絡結構選擇86
4.1 經(jīng)驗風險最小化與推廣能力88
4.1.1 經(jīng)驗風險最小化原則89
4.1.2 推廣能力、模型復雜度和樣本量90
4.2 統(tǒng)計學習理論簡介92
4.2.1 學習過程一致性的條件93
4.2.2 統(tǒng)計學習理論發(fā)展中的三個重要結論96
4.2.3 推廣能力的界97
4.2.4 結構風險最小化102
4.3 學習的復雜性問題105
4.3.1 PAC學習模型105
4.3.2 PAC學習的例子106
4.3.3 PAC學習模型的一些擴展106
4.3.4 多層前饋網(wǎng)絡的樣本數(shù)問題107
4.3.5 學習的計算復雜性108
4.4 學習的動態(tài)特性109
4.4.1 通用學習方程109
4.4.2 LMS規(guī)則110
4.4.3 Hebb規(guī)則111
4.4.4 Oja學習規(guī)則111
4.5 推廣問題112
4.5.1 定性分析112
4.5.2 平均推廣能力113
4.5.3 樣本量問題115
4.5.4 推廣誤差的實驗估計116
4.6 預測學習117
4.6.1 模型117
4.6.2 根本困難118
4.6.3 維數(shù)災難問題118
4.6.4 方差與偏置折衷118
4.7 學習的數(shù)學基礎120
4.8 網(wǎng)絡模型選擇122
4.8.1 定性分析122
4.8.2 正規(guī)化方法123
4.8.3 修剪與網(wǎng)絡構造法124
4.9 符號學習與神經(jīng)網(wǎng)絡結合131
習題133
參考文獻134
第5章 核方法與支持向量機140
5.1 現(xiàn)有方法概述141
5.1.1 基函數(shù)法142
5.1.2 核函數(shù)143
5.2 基函數(shù)法與核函數(shù)法的對偶關系144
5.3 自適應方法147
5.4 核函數(shù)法147
5.5 表示定理151
5.6 最優(yōu)線性分界面152
5.7 支持向量機（SVM）155
5.7.1 基本原理155
5.7.2 SVM用于多類（C類）問題161
5.7.3 SVM用于回歸161
5.8 核PCA163
5.9 SVM的算法165
5.10 貝葉斯方法與高斯過程171
5.10.1 貝葉斯方法171
5.10.2 高斯過程173
5.10.3 稀疏表示175
5.11 討論177
參考文獻181
第6章 自組織系統(tǒng)(Ⅰ)——Hebb學習184
6.1 引言184
6.2 自組織特征檢測——一個簡單的實驗185
6.3 主成分分析186
6.4 單個神經(jīng)元抽取最大主分量189
6.5 單層網(wǎng)絡用于抽取一組主分量189
6.6 有側向連接的自適應PCA191
6.7 最小均方誤差重建學習193
6.8 次分量的提取和應用195
6.8.1 最優(yōu)擬合問題195
6.8.2 用單個神經(jīng)元實現(xiàn)197
6.9 PCA算法的進一步擴展200
6.9.1 非線性PCA200
6.9.2 主曲線與主曲面200
6.9.3 魯棒PCA算法202
6.9.4 偏最小二乘方法202
6.10 用于特征抽取的網(wǎng)絡203
6.10.1 正態(tài)分布的數(shù)據(jù)204
6.10.2 類內(nèi)、類間距離的計算205
6.10.3 Bhattacharya距離206
參考文獻207
第7章 自組織系統(tǒng)(Ⅱ)——競爭學習210
7.1 Hamming網(wǎng)絡與WTA網(wǎng)絡210
7.2 自組織特征映射212
7.3 等效的SOM算法215
7.4 向量量化220
7.5 廣義向量量化221
7.6 討論223
7.7 應用舉例225
7.8 自適應共振理論235
7.8.1 ART的基本原理236
7.8.2 ART作為分類器時的學習算法239
習題240
參考文獻241
第8章 自組織系統(tǒng)(Ⅲ)——基于信息論的模型245
8.1 信息論簡介245
8.2 最大信息保持原則247
8.2.1 單個神經(jīng)元受噪聲干擾247
8.2.2 輸入受加性噪聲干擾248
8.2.3 更復雜些的情況249
8.3 拓撲有序映射的產(chǎn)生251
8.4 基于最大熵原則的拓撲映射253
8.5 盲信號處理255
8.5.1 一些基本概念257
8.5.2 ICA的目標函數(shù)261
8.5.3 盲信號處理的應用267
8.5.4 非線性獨立成分分析（NLICA）270
參考文獻273
第9章 動態(tài)信號與系統(tǒng)的處理276
9.1 延時單元網(wǎng)絡276
9.2 時空神經(jīng)元模型280
9.2.1 模型280
9.2.2 FIR網(wǎng)絡的學習算法282
9.3 部分反饋網(wǎng)絡286
9.4 有反饋網(wǎng)絡的學習算法289
9.4.1 隨時間演化的反向傳播算法289
9.4.2 實時遞歸學習290
9.5 應用舉例293
9.6 神經(jīng)網(wǎng)絡在金融領域中的應用304
9.7 討論310
9.8 再勵學習及其主要算法314
9.8.1 時間差分法315
9.8.2 RL的主要算法317
9.9 再勵學習在控制中的應用舉例319
習題327
參考文獻328
第10章 多神經(jīng)網(wǎng)絡集成335
10.1 引言335
10.2 群體平均法336
10.3 Boosting方法337
10.3.1 Boosting算法338
10.3.2 性能分析339
10.3.3 應用實例——由基因表達譜對腫瘤分類340
10.4 混合專家網(wǎng)絡342
10.5 分層混合專家網(wǎng)絡344
10.5.1 工作原理345
10.5.2 EM算法概述347
10.5.3 EM算法用于HME349
10.5.4 IRLS算法350
10.5.5 EM算法的步驟352
10.6 應用舉例353
參考文獻357
第11章 反饋網(wǎng)絡與聯(lián)想存儲器360
11.1 聯(lián)想存儲器360
11.2 反饋網(wǎng)絡361
11.2.1 離散Hopfield網(wǎng)絡362
11.2.2 連續(xù)Hopfield網(wǎng)絡366
11.3 用反饋網(wǎng)絡作聯(lián)想存儲器368
11.4 相關學習算法369
11.5 容量分析373
11.6 偽逆學習算法377
11.7 基于線性可分性的學習算法378
11.8 Li與Michel的設計方法（特征結構法）379
11.9 線性規(guī)劃方法379
11.10 多余吸引子問題381
11.11 雙向聯(lián)想存儲器（BAM）382
11.11.1 能量函數(shù)與穩(wěn)定性384
11.11.2 BAM網(wǎng)絡的權值設計384
11.12 玻耳茲曼機386
11.12.1 隨機神經(jīng)元386
11.12.2 模擬退火算法387
11.12.3 玻耳茲曼機387
11.12.4 玻耳茲曼機的學習388
11.12.5 平均場學習規(guī)則392
習題394
參考文獻395
第12章 神經(jīng)網(wǎng)絡用于優(yōu)化計算398
12.1 概述398
12.2 連續(xù)Hopfield網(wǎng)絡用于求解優(yōu)化問題401
12.3 CHNN用于優(yōu)化計算時存在的問題403
12.4 神經(jīng)網(wǎng)絡用于求解貨流問題405
12.5 用于解數(shù)學規(guī)劃的電路舉例409
12.6 在通信網(wǎng)絡中的應用舉例411
習題412
參考文獻413
第13章 神經(jīng)網(wǎng)絡中的動力學問題415
13.1 運動穩(wěn)定性的基本知識415
13.1.1 運動微分方程415
13.1.2 平衡狀態(tài)及其穩(wěn)定性416
13.1.3 定性方法與系統(tǒng)的分類418
13.1.4 Lyapunov定理421
13.1.5 吸引子422
13.2 反饋網(wǎng)絡的基本模型及其穩(wěn)定性424
13.2.1 基本模型424
13.2.2 穩(wěn)定性分析425
13.2.3 離散模型427
13.2.4 離散時間連續(xù)狀態(tài)模型427
13.3 混沌神經(jīng)網(wǎng)絡的初步介紹430
13.3.1 一個簡單的非線性映射430
13.3.2 混沌神經(jīng)元模型432
13.3.3 用混沌神經(jīng)網(wǎng)絡作聯(lián)想記憶434
參考文獻435
第14章 誤差函數(shù)與參數(shù)優(yōu)化方法437
14.1 誤差平方和438
14.1.1 網(wǎng)絡輸出的含義438
14.1.2 更一般的條件分布的建模440
14.2 后驗概率估計442
14.2.1 誤差平方和準則443
14.2.2 隱單元的作用443
14.2.3 R范數(shù)誤差444
14.3 交叉熵445
14.3.1 兩類分類器445
14.3.2 交叉熵的性質(zhì)446
14.3.3 多類情況447
14.4 參數(shù)優(yōu)化算法448
14.4.1 誤差曲面448
14.4.2 對E的局部二次逼近449
14.4.3 優(yōu)化過程的一些實際問題450
14.5 梯度下降法451
14.5.1 收斂性的定性分析452
14.5.2 加速收斂的措施452
14.6 共軛梯度法454
14.7 牛頓法及其變形457
14.8 LevenbergMarquart算法458
14.9 信息幾何與自然梯度459
參考文獻459
第15章 貝葉斯方法461
15.1 網(wǎng)絡權值的貝葉斯學習462
15.1.1 權值的分布462
15.1.2 一類更廣的分布464
15.1.3 網(wǎng)絡輸出的分布465
15.1.4 超參數(shù)的處理466
15.2 貝葉斯模型選擇468
15.2.1 模型顯著度469
15.2.2 網(wǎng)絡組470
15.2.3 貝葉斯方法的實現(xiàn)471
15.2.4 最小描述長度471
15.3 在神經(jīng)網(wǎng)絡中的應用472
15.4 貝葉斯陰陽系統(tǒng)理論簡介474
15.5 討論475
參考文獻477
第16章 神經(jīng)網(wǎng)絡在信號處理中的應用479
16.1 引言479
16.2 用泛函對物理系統(tǒng)建模479
16.2.1 算子與泛函480
16.2.2 Volterra級數(shù)481
16.3 Volterra級數(shù)與多層前饋網(wǎng)絡482
16.4 非線性ARMA模型與MFNN484
16.5 狀態(tài)空間表示與神經(jīng)網(wǎng)絡486
16.6 神經(jīng)網(wǎng)絡與馬爾可夫模型487
16.7 特征空間分解與神經(jīng)網(wǎng)絡489
16.7.1 信息判據(jù)用于主子空間分析489
16.7.2 非線性主元分析492
16.8 EM算法用于訓練部分反饋網(wǎng)絡494
16.9 混沌時間序列的預測和混沌中信號的檢測497
16.9.1 混沌時間序列的預測497
16.9.2 混沌中信號的檢測——海洋雜亂回波中雷達信號的檢測501
16.10 神經(jīng)網(wǎng)絡用于信息的壓縮和編碼503
16.11 神經(jīng)網(wǎng)絡用于盲信號處理507
16.12 小波網(wǎng)絡與多分辨率學習512
16.12.1 引言512
16.12.2 小波基函數(shù)與函數(shù)的多分辨率分析512
16.12.3 多分辨率學習與小波網(wǎng)絡515
16.12.4 多尺度網(wǎng)絡用于時間序列預測520
參考文獻522
第17章 進化計算概論與進化策略526
17.1 進化計算概論526
17.2 二元進化策略528
17.2.1 基本算法528
17.2.2 變異過程530
17.2.3 步長選擇532
17.2.4 收斂準則534
17.2.5 對于約束條件的處理535
17.3 多元進化策略535
17.3.1 基本算法536
17.3.2 (1，λ)前進速度分析537
17.3.3 步長控制543
17.3.4 μ≥1時的收斂準則545
17.3.5 串行與并行546
參考文獻547
第18章 遺傳算法及其理論分析549
18.1 標準遺傳算法和基本概念549
18.2 模式定理552
18.3 基因塊假設556
18.4 欺騙性問題559
18.5 收斂性分析563
18.5.1 基本概念563
18.5.2 守恒交叉算子565
18.5.3 完全變異算子566
18.5.4 遺傳算法的馬爾可夫鏈分析567
參考文獻569
第19章 遺傳算法的設計與實現(xiàn)570
19.1 編碼方法570
19.1.1 編碼原則571
19.1.2 編碼方法573
19.2 適應度函數(shù)577
19.2.1 目標函數(shù)映射成適應度函數(shù)577
19.2.2 適應度函數(shù)調(diào)整578
19.2.3 適應度函數(shù)的設計對遺傳算法的影響579
19.3 遺傳算子580
19.3.1 選擇算子580
19.3.2 交叉算子582
19.3.3 變異算子584
19.4 其他問題586
19.4.1 參數(shù)選擇586
19.4.2 其他操作587
參考文獻592
第20章 遺傳算法在神經(jīng)網(wǎng)絡中的應用593
20.1 連接權的進化方法593
20.2 網(wǎng)絡結構的進化方法595
20.3 用遺傳算法解決XOR問題示例597
參考文獻599
第21章 遺傳算法在作業(yè)調(diào)度中的應用600
21.1 問題描述600
21.2 解作業(yè)調(diào)度問題的遺傳算法602
21.3 仿真結果605
參考文獻609
第22章 分布估計算法610
22.1 離散的分布估計算法611
22.1.1 變量獨立假設下的算法611
22.1.2 雙變量概率依賴關系614
22.1.3 多變量概率依賴關系622
22.2 連續(xù)的分布估計算法626
22.2.1 變量獨立假設下的算法627
22.2.2 雙變量概率依賴關系628
22.2.3 多變量概率依賴關系629
22.3 討論630
參考文獻631
索引634