數(shù)據(jù)驅(qū)動的進(jìn)化優(yōu)化

第1章最優(yōu)化導(dǎo)論
1．1優(yōu)化的定義
1．1．1數(shù)學(xué)模型
1．1．2凸優(yōu)化
1．1．3擬凸函數(shù)
1．1．4全局和局部最優(yōu)
1．2優(yōu)化問題的類型
1．2．1連續(xù)與離散優(yōu)化
1．2．2無約束優(yōu)化與約束優(yōu)化
1．2．3單目標(biāo)優(yōu)化與多目標(biāo)優(yōu)化
1．2．4確定性優(yōu)化與隨機(jī)性優(yōu)化
1．2．5黑盒優(yōu)化和數(shù)據(jù)驅(qū)動的優(yōu)化
1．3多目標(biāo)優(yōu)化
1．3．1數(shù)學(xué)模型
1．3．2Pareto最優(yōu)性
1．3．3偏好建模
1．3．4偏好表示
1．4優(yōu)化中不確定性的處理
1．4．1評價中的噪聲
1．4．2魯棒優(yōu)化
1．4．3多場景優(yōu)化
1．4．4動態(tài)優(yōu)化
1．4．5時域魯棒優(yōu)化
1．5優(yōu)化算法的對比
1．5．1算法效率
1．5．2性能指標(biāo)
1．5．3可靠性評價
1．5．4統(tǒng)計測試
1．5．5基準(zhǔn)問題
1．6總結(jié)
第2章經(jīng)典優(yōu)化算法
2．1無約束優(yōu)化
2．1．1梯度法
2．1．2牛頓法
2．1．3擬牛頓法
2．2約束優(yōu)化
2．2．1懲罰函數(shù)法和障礙函數(shù)法
2．2．2拉格朗日乘子法
2．3無梯度搜索方法
2．3．1線搜索和模式搜索
2．3．2NelderMead單純形法
2．3．3基于模型的無梯度搜索方法
2．4確定性全局優(yōu)化
2．4．1基于Lipschitz的方法
2．4．2DIRECT算法
2．5總結(jié)
第3章進(jìn)化和群智能優(yōu)化
3．1引言
3．2遺傳算法
3．2．1定義
3．2．2表示
3．2．3交叉和變異
3．2．4環(huán)境選擇
3．3實(shí)數(shù)編碼的遺傳算法
3．3．1實(shí)值表示
3．3．2混合交叉
3．3．3模擬二進(jìn)制交叉和多項式變異
3．4進(jìn)化策略
3．4．1(1 1)ES
3．4．2基于全局步長的進(jìn)化策略
3．4．3基于個體步長大小的進(jìn)化策略
3．4．4繁殖與環(huán)境選擇
3．4．5協(xié)方差矩陣自適應(yīng)進(jìn)化策略
3．5遺傳規(guī)劃
3．5．1基于樹結(jié)構(gòu)的遺傳規(guī)劃
3．5．2初始化
3．5．3交叉與變異
3．6蟻群優(yōu)化算法
3．6．1整體框架
3．6．2擴(kuò)展應(yīng)用
3．7差分進(jìn)化算法
3．7．1初始化
3．7．2差分變異
3．7．3差分交叉 
3．7．4環(huán)境選擇
3．8粒子群優(yōu)化算法
3．8．1傳統(tǒng)的粒子群優(yōu)化算法
3．8．2競爭粒子群優(yōu)化器
3．8．3社會學(xué)習(xí)粒子群優(yōu)化器
3．9模因算法
3．9．1基本概念
3．9．2拉馬克方法和鮑德溫方法
3．9．3多目標(biāo)模因算法
3．9．4鮑德溫效應(yīng)與隱藏效應(yīng)
3．10分布估計算法
3．10．1一個簡單的EDA
3．10．2求解離散優(yōu)化問題的EDA
3．10．3求解連續(xù)優(yōu)化問題的EDA
3．10．4多目標(biāo)EDA
3．11參數(shù)自適應(yīng)和算法選擇
3．11．1自動參數(shù)調(diào)優(yōu)
3．11．2超啟發(fā)式算法
3．11．3適應(yīng)度地形分析
3．11．4自動推薦系統(tǒng)
3．12總結(jié) 
第4章機(jī)器學(xué)習(xí)簡介
4．1機(jī)器學(xué)習(xí)問題
4．1．1聚類
4．1．2維度約減
4．1．3回歸
4．1．4分類
4．2機(jī)器學(xué)習(xí)模型
4．2．1多項式回歸模型
4．2．2多層感知機(jī)
4．2．3徑向基函數(shù)網(wǎng)絡(luò)
4．2．4支持向量機(jī)
4．2．5高斯過程
4．2．6決策樹
4．2．7模糊規(guī)則系統(tǒng)
4．2．8集成模型
4．3學(xué)習(xí)算法
4．3．1監(jiān)督學(xué)習(xí)
4．3．2無監(jiān)督學(xué)習(xí)
4．3．3強(qiáng)化學(xué)習(xí)
4．3．4高階學(xué)習(xí)算法
4．4多目標(biāo)機(jī)器學(xué)習(xí)
4．4．1單目標(biāo)與多目標(biāo)學(xué)習(xí)
4．4．2多目標(biāo)聚類、特征選擇和特征提取
4．4．3多目標(biāo)集成模型生成
4．5深度學(xué)習(xí)模型
4．5．1卷積神經(jīng)網(wǎng)絡(luò)
4．5．2長短期記憶網(wǎng)絡(luò)
4．5．3自關(guān)聯(lián)神經(jīng)網(wǎng)絡(luò)和自編碼器
4．5．4生成對抗網(wǎng)絡(luò)
4．6進(jìn)化與學(xué)習(xí)的協(xié)同作用
4．6．1進(jìn)化學(xué)習(xí)
4．6．2基于學(xué)習(xí)的進(jìn)化優(yōu)化
4．7小結(jié)
第5章數(shù)據(jù)驅(qū)動的代理模型輔助的進(jìn)化優(yōu)化
5．1引言
5．2離線與在線數(shù)據(jù)驅(qū)動的優(yōu)化
5．2．1離線數(shù)據(jù)驅(qū)動的優(yōu)化
5．2．2在線數(shù)據(jù)驅(qū)動的優(yōu)化
5．3在線代理模型管理方法
5．3．1基于種群的模型管理
5．3．2基于世代的模型管理
5．3．3基于個體的模型管理
5．3．4模因算法中的信任域方法
5．4貝葉斯模型管理
5．4．1獲取函數(shù)
5．4．2進(jìn)化貝葉斯優(yōu)化
5．4．3貝葉斯進(jìn)化優(yōu)化
5．5貝葉斯約束優(yōu)化
5．5．1約束優(yōu)化的獲取函數(shù)
5．5．2兩階段獲取函數(shù)
5．6代理模型輔助的魯棒性優(yōu)化
5．6．1魯棒性優(yōu)化的雙目標(biāo)公式
5．6．2代理模型的構(gòu)建
5．7模型的性能指標(biāo)
5．7．1精度
5．7．2基于選擇的性能指標(biāo)
5．7．3等級相關(guān)性
5．7．4適應(yīng)度相關(guān)性
5．8總結(jié)
第6章多代理模型輔助的單目標(biāo)優(yōu)化
6．1引言
6．2局部和全局代理模型輔助優(yōu)化
6．2．1集成代理模型
6．2．2多代理模型的單目標(biāo)模因優(yōu)化
6．2．3多代理模型的多目標(biāo)模因優(yōu)化
6．2．4信任域方法輔助的局部搜索
6．2．5實(shí)驗(yàn)結(jié)果
6．3雙層代理模型輔助粒子群算法
6．3．1全局代理模型
6．3．2局部代理模型
6．3．3適應(yīng)度評估
6．3．4代理模型管理
6．3．5實(shí)驗(yàn)結(jié)果和討論
6．4代理模型委員會輔助的粒子群優(yōu)化
6．4．1代理模型委員會
6．4．2填充采樣準(zhǔn)則
6．4．3整體框架
6．4．4基準(zhǔn)問題的實(shí)驗(yàn)結(jié)果
6．5分層代理模型輔助的多場景優(yōu)化
6．5．1多場景翼型優(yōu)化
6．5．2多場景優(yōu)化中的分層代理模型
6．6自適應(yīng)代理模型選擇
6．6．1基本思路
6．6．2選擇代理模型的概率模型
6．7小結(jié)
第7章代理模型輔助的多目標(biāo)進(jìn)化優(yōu)化
7．1進(jìn)化多目標(biāo)優(yōu)化
7．1．1假設(shè)和方法論
7．1．2基于分解的方法
7．1．3基于支配關(guān)系的方法
7．1．4基于性能指標(biāo)的方法
7．2高斯過程輔助隨機(jī)加權(quán)聚合方法
7．2．1代理模型輔助多目標(biāo)優(yōu)化的挑戰(zhàn)
7．2．2高效全局優(yōu)化方法
7．2．3多目標(biāo)優(yōu)化的擴(kuò)展
7．3高斯過程輔助的基于分解的多目標(biāo)優(yōu)化
7．3．1MOEA/D
7．3．2主要框架
7．3．3局部代理模型
7．3．4代理模型管理
7．3．5討論
7．4高維多目標(biāo)貝葉斯優(yōu)化
7．4．1主要挑戰(zhàn)
7．4．2異構(gòu)集成模型構(gòu)建
7．4．3基于Pareto的多目標(biāo)貝葉斯優(yōu)化方法
7．4．4整體框架
7．5小結(jié)
第8章代理模型輔助的高維多目標(biāo)進(jìn)化優(yōu)化
8．1高維多目標(biāo)優(yōu)化中的新挑戰(zhàn)
8．1．1引言
8．1．2多樣性與偏好
8．1．3拐點(diǎn)搜索
8．1．4求解非規(guī)則Pareto前沿面問題
8．2進(jìn)化高維多目標(biāo)進(jìn)化優(yōu)化算法
8．2．1參考向量引導(dǎo)的高維多目標(biāo)優(yōu)化
8．2．2拐點(diǎn)驅(qū)動的高維多目標(biāo)優(yōu)化算法
8．2．3雙存檔高維多目標(biāo)優(yōu)化算法
8．2．4高維多目標(biāo)優(yōu)化中的角排序
8．3高斯過程輔助的參考向量引導(dǎo)的高維多目標(biāo)優(yōu)化
8．3．1模型管理
8．3．2存檔維持
8．4分類代理模型輔助的高維多目標(biāo)優(yōu)化
8．4．1主要框架
8．4．2基于徑向投影選擇
8．4．3基于參考集的支配關(guān)系預(yù)測
8．4．4代理模型管理
8．4．5代理模型輔助的環(huán)境選擇
8．5dropout神經(jīng)網(wǎng)絡(luò)輔助的高維多目標(biāo)優(yōu)化
8．5．1ARMOEA
8．5．2高效深度dropout神經(jīng)網(wǎng)絡(luò)
8．5．3模型管理
8．5．4EDNARMOEA整體框架
8．5．5原油蒸餾裝置的操作優(yōu)化
8．6小結(jié)
第9章數(shù)據(jù)驅(qū)動進(jìn)化優(yōu)化中的知識遷移
9．1引言
9．2基于協(xié)同訓(xùn)練的代理模型輔助交互式優(yōu)化
9．2．1總體框架
9．2．2區(qū)間預(yù)測的代理模型
9．2．3適應(yīng)度評估
9．2．4iCSSL
9．2．5模型管理
9．3半監(jiān)督學(xué)習(xí)輔助粒子群優(yōu)化
9．3．1算法框架
9．3．2社會學(xué)習(xí)粒子群優(yōu)化
9．3．3模型管理策略
9．3．4未標(biāo)記數(shù)據(jù)的選擇
9．3．5實(shí)驗(yàn)結(jié)果與討論
9．4多目標(biāo)優(yōu)化中問題之間的知識遷移
9．4．1遷移學(xué)習(xí)的領(lǐng)域自適應(yīng)
9．4．2從廉價到昂貴問題的知識遷移
9．4．3用于數(shù)據(jù)增強(qiáng)的CEBDA
9．4．4進(jìn)化多目標(biāo)貝葉斯優(yōu)化
9．5多目標(biāo)優(yōu)化中目標(biāo)之間的知識遷移
9．5．1動機(jī)
9．5．2基于參數(shù)的遷移學(xué)習(xí)
9．5．3算法框架
9．6數(shù)據(jù)驅(qū)動的多精度遷移優(yōu)化
9．6．1雙精度優(yōu)化中的遷移學(xué)習(xí)
9．6．2遷移堆疊
9．6．3代理模型輔助的雙精度進(jìn)化優(yōu)化
9．6．4實(shí)驗(yàn)結(jié)果
9．7代理模型輔助的多任務(wù)多場景優(yōu)化
9．7．1多場景minimax優(yōu)化
9．7．2代理模型輔助的minimax多因子進(jìn)化優(yōu)化
9．7．3實(shí)驗(yàn)結(jié)果
9．8小結(jié)
第10章代理模型輔助的高維進(jìn)化優(yōu)化
10．1代理模型輔助的協(xié)同優(yōu)化求解高維問題
10．1．1RBF 輔助的 SLPSO
10．1．2FES 輔助的 PSO
10．1．3存檔更新
10．1．4實(shí)驗(yàn)結(jié)果和分析
10．2高維優(yōu)化中的多目標(biāo)填充準(zhǔn)則
10．2．1主要框架
10．2．2多目標(biāo)填充準(zhǔn)則
10．2．3實(shí)驗(yàn)結(jié)果和分析
10．3針對昂貴問題的多模型多任務(wù)優(yōu)化
10．3．1多因子進(jìn)化算法
10．3．2主要框架
10．3．3全局和局部代理模型
10．3．4基于全局和局部代理模型的多任務(wù)優(yōu)化
10．3．5實(shí)驗(yàn)結(jié)果和分析
10．4隨機(jī)特征選擇下代理模型輔助的大規(guī)模優(yōu)化
10．4．1主要框架
10．4．2子問題的形成與優(yōu)化
10．4．3全局最優(yōu)位置的更新
10．4．4實(shí)驗(yàn)結(jié)果和分析
10．5小結(jié)
第11章離線大或小數(shù)據(jù)驅(qū)動的優(yōu)化及應(yīng)用
11．1離線急救系統(tǒng)大數(shù)據(jù)驅(qū)動優(yōu)化的自適應(yīng)聚類
11．1．1問題建模
11．1．2用于離線數(shù)據(jù)驅(qū)動優(yōu)化的自適應(yīng)聚類
11．1．3實(shí)驗(yàn)結(jié)果
11．1．4討論
11．2小數(shù)據(jù)驅(qū)動多目標(biāo)鎂爐優(yōu)化
11．2．1基于全局代理的模型管理
11．2．2基準(zhǔn)問題的驗(yàn)證實(shí)驗(yàn)
11．2．3電熔鎂爐優(yōu)化
11．3面向離線翼型優(yōu)化的選擇性集成模型
11．3．1問題建模
11．3．2離線數(shù)據(jù)驅(qū)動優(yōu)化的選擇性集成模型
11．3．3對比實(shí)驗(yàn)結(jié)果
11．4離線數(shù)據(jù)驅(qū)動的選礦過程優(yōu)化中的知識遷移
11．4．1引言
11．4．2多代理模型優(yōu)化的知識遷移
11．4．3基于參考向量的最終解選擇
11．4．4選礦工藝優(yōu)化
11．5離線動態(tài)數(shù)據(jù)驅(qū)動優(yōu)化中的遷移學(xué)習(xí)
11．5．1動態(tài)數(shù)據(jù)驅(qū)動的優(yōu)化
11．5．2用于增量學(xué)習(xí)的數(shù)據(jù)流集成模型
11．5．3基于集成的遷移優(yōu)化
11．5．4用于最終解選擇的支持向量域描述
11．5．5實(shí)驗(yàn)結(jié)果
11．6小結(jié)
第12章代理模型輔助進(jìn)化神經(jīng)架構(gòu)搜索
12．1神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索的挑戰(zhàn)
12．1．1架構(gòu)表示
12．1．2搜索策略
12．1．3性能評估
12．2神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索中的貝葉斯優(yōu)化
12．2．1架構(gòu)編碼
12．2．2核函數(shù)
12．2．3討論
12．3隨機(jī)森林輔助的神經(jīng)架構(gòu)搜索
12．3．1塊式架構(gòu)表示法
12．3．2離線數(shù)據(jù)產(chǎn)生
12．3．3隨機(jī)森林構(gòu)建
12．3．4搜索方法
12．3．5實(shí)驗(yàn)結(jié)果
12．4小結(jié)
參考文獻(xiàn)