深度學習：原理及遙感地學分析

目錄
前言
基礎篇
第1章　概率論　3
1.1　概率的本質　3
1.2　典型概率分布　6
1.2.1　伯努利分布　6
1.2.2　二項分布　7
1.2.3　貝塔分布　7
1.2.4　多項分布　8
1.2.5　狄利克雷分布　9
1.2.6　高斯分布　10
1.2.7　學生t分布　13
1.2.8　指數(shù)及拉普拉斯分布　14
1.3　隨機變量的數(shù)字特征及信息測度　15
1.4　指數(shù)族分布函數(shù)　17
1.5　混合分布　18
1.6　小結　19
參考文獻　20
第2章　線性代數(shù)　21
2.1　基本數(shù)據(jù)類型　21
2.2　基本運算　22
2.3　求導運算　24
2.4　特征值提取及主成分分析　27
2.5　奇異值分解　31
2.6　小結　33
參考文獻　34
第3章　MCMC隨涵擬　35
3.1　問題的提出　35
3.2　蒙特卡羅方法　36
3.2.1　方法基礎　36
3.2.2　拒絕性抽樣　37
3.2.3　重要性抽樣　38
3.3　MCMC方法　39
3.4　M-H采樣　40
3.5　Gibbs采樣　42
3.6　應用實例　44
3.6.1　模擬Beta分布的概率分布　44
3.6.2　采用Gibbs抽樣模擬二維正態(tài)分布　45
3.6.3　模擬退火求極值問題　45
3.7　小結　46
參考文獻　46
第4章　變分優(yōu)化法　48
4.1　問題的提出　48
4.2　泛函　49
4.3　變分法　50
4.4　EM算法　53
4.5　*大熵變分方法　55
4.6　求后驗分布的變分推斷　57
4.7　小結　60
參考文獻　61
第5章　懸學習基礎　62
5.1　學習目標　62
5.2　評價標準　64
5.2.1　基于概率的評價標準　64
5.2.2　基于損失函數(shù)的評價標準　65
5.2.3　基于信息論的評價標準　67
5.3　監(jiān)督學習方法　68
5.3.1　單學習器　68
5.3.2　集成學習器　72
5.4　非監(jiān)督學習方法　83
5.4.1　主成分分析　84
5.4.2　高斯混合模型　84
5.5　偏差與方差：提高模型泛化能力　87
5.5.1　偏差與方差　87
5.5.2　正則化　88
5.5.3　貝葉斯統(tǒng)計學方法　90
5.5.4　MAP點估計　90
5.6　機器學習流程　91
5.7　向深度學習器的演化　92
5.8　小結　93
參考文獻　93
方法篇
第6章　前饋神經(jīng)網(wǎng)絡　97
6.1　主要構成要素　97
6.1.1　目標函數(shù)　97
6.1.2　輸入及隱藏層　98
6.1.3　輸出層　102
6.2　深層系統(tǒng)架構　107
6.3　反向傳播算法原理　108
6.3.1　全微分　108
6.3.2　復合函數(shù)求導　110
6.3.3　反向傳播算法　111
6.4　自動微分　113
6.4.1　不同的微分方法　114
6.4.2　后向梯度計算模式　115
6.4.3　前向及后向傳播過程　117
6.4.4　高效的計算圖及其實現(xiàn)算法　119
6.5　小結　125
參考文獻　125
第7章　模型訓練及優(yōu)化　127
7.1　參數(shù)正則化　127
7.2　限制性優(yōu)化　134
7.3　數(shù)據(jù)增強　139
7.4　遷移學習　140
7.5　多任務學習及參數(shù)共享　141
7.6　集成學習方法　144
7.7　Dropout方法　145
7.8　Early Stopping方法　147
7.9　mini batch梯度下降法　149
7.10　批正則化　152
7.11　優(yōu)化算法主要挑戰(zhàn)　155
7.12　參數(shù)初始化　157
7.13　基本梯度學習方法　159
7.14　適應性梯度學習方法　162
7.15　高階優(yōu)化　167
7.16　算法優(yōu)化策略　168
7.17　小結　170
參考文獻　172
第8章　卷積神經(jīng)網(wǎng)絡　174
8.1　神經(jīng)生物學基礎　174
8.2　感受野　175
8.3　卷積運算　175
8.3.1　離散卷積　175
8.3.2　卷積神經(jīng)網(wǎng)絡中的卷積運算　176
8.3.3　填充　177
8.4　CNN基本結構　178
8.4.1　卷積層　178
8.4.2　池化層（下采樣層）　180
8.4.3　全連接層　181
8.4.4　激活函數(shù)　181
8.4.5　損失函數(shù)與優(yōu)化方法　181
8.5　卷積神經(jīng)網(wǎng)絡發(fā)展歷史　182
8.5.1　LeNet-5模型　183
8.5.2　AlexNet模型　184
8.5.3　VGGNet模型　186
8.5.4　GoogleLeNet模型　187
8.5.5　ResNet模型　187
8.6　卷積神經(jīng)網(wǎng)絡在遙感地學方面的應用　189
8.7　小結　190
參考文獻　190
第9章　循環(huán)神經(jīng)網(wǎng)絡　194
9.1　循環(huán)神經(jīng)網(wǎng)絡的網(wǎng)絡結構及原理　194
9.1.1　單向循環(huán)神經(jīng)網(wǎng)絡　195
9.1.2　時序反向傳播算法　196
9.1.3雙向循環(huán)神經(jīng)網(wǎng)絡　198
9.2　長短期記憶網(wǎng)絡及其變體　199
9.2.1　長短期記憶網(wǎng)絡　200
9.2.2　門控循環(huán)單元　201
9.2.3　RNN其他變體　202
9.3　混合神經(jīng)網(wǎng)絡　203
9.4　循環(huán)神經(jīng)網(wǎng)絡的應用　204
9.4.1　自然語言處理　204
9.4.2　地球科學　205
9.4.3　其他　206
9.5　小結　206
參考文獻　207
第10章　其他網(wǎng)絡建模方法　211
10.1　反卷積神經(jīng)網(wǎng)絡　211
10.2　自動編碼器　212
10.3　t-SNE方法　213
10.4　變分自動編碼器　214
10.5　生成對抗網(wǎng)絡　218
10.6　深度信任網(wǎng)絡　220
10.7　注意力機制　223
10.8　圖網(wǎng)絡　227
10.9　自然語言處理的網(wǎng)絡模型　232
10.9.1　基本語言模型　232
10.9.2　tf-ldf重要性提取　233
10.9.3　word2vec方法　234
10.9.4神經(jīng)概率語言模型　236
10.9.5　基于Hierarchical Softmax的模型　238
10.9.6　CBOM模型　239
10.9.7　sklp-gram模型　241
10.10　小結　242
參考文獻　243
遙感地學分析篇
第11章　遙感地學分析概述　247
11.1　背景介紹　247
11.2　遙感地學智能分析的系統(tǒng)框架　250
參考文獻　254
第12章　遙感圖像土地利用分類　256
12.1　遙感圖像土地利用分類方法綜述　256
12.1.1　遙感圖像土地利用分類方法　256
12.1.2　基于深度學習的遙感圖像語義分割　258
12.2　相關工作　259
12.2.1　殘差學習　260
12.2.2　多尺度　261
12.2.3　基于深度學習的語義分割　262
12.3　多尺度深度殘差自動編碼　263
12.3.1　基于自動編碼器的結構　263
12.3.2　兩種殘差連接　264
12.3.3　空洞卷積和多尺度的融合　265
12.3.4　訓練集的采樣和邊界效應　266
12.3.5　衡量指標和損失函數(shù)　267
12.3.6　執(zhí)行過程　268
12.4數(shù)據(jù)集與訓練　269
12.4.1　數(shù)據(jù)集　270
12.4.2　訓練及測試　271
12.5　土地利用分類結果及討論　271
12.6　小結　278
參考文獻　279
第13章　建筑物識別　286
13.1　遙感圖像建筑物識別方法研究　286
13.2　基于形狀表示和多尺度的深度殘差分割方法　287
13.2.1　U-Net結構　287
13.2.2　殘差學習　289
13.2.3　ASPP　289
13.2.4　形狀表示自動編碼器的正則化方法　290
13.2.5　損失函數(shù)，多尺度和邊界效應　291
13.3　實驗數(shù)據(jù)集和評估　292
13.3.1　研究區(qū)域　293
13.3.2　評估　293
13.4　建筑物識別結果　294
13.5　小結　301
參考文獻　302
第14章　氣象參數(shù)預測　306
14.1　應用綜述　306
14.2　中國大陸風速時空數(shù)據(jù)　307
14.2.1　研究區(qū)域　308
14.2.2　測量數(shù)據(jù)　308
14.2.3　協(xié)變量　308
14.3　研究方法　309
14.3.1　階段1：地理加權學習　310
14.3.2　階段2：基于深度殘差網(wǎng)絡的降尺度　314
14.3.3　超參數(shù)優(yōu)化與驗證　315
14.4　風速預測結果　315
14.4.1　數(shù)據(jù)總結和預處理　315
14.4.2　階段1的訓練模型　316
14.4.3　階段2的預測和降尺度　318
14.5　小結　322
參考文獻　324
第15章　遙感氣溶膠數(shù)據(jù)缺值處理　327
15.1　缺值數(shù)據(jù)插補方法概述　327
15.2　MAIAC AOD數(shù)據(jù)　328
15.2.1　案例研究區(qū)域　328
15.2.2　數(shù)據(jù)變量　329
15.3　降尺度與深度學習結合的插補方法　330
15.3.1　MAIAC AOD預處理　330
15.3.2　基于自動編碼器的深度殘差網(wǎng)絡　331
15.3.3　基于深度殘差網(wǎng)絡的MERRA-2GMI重放模擬AOD降尺度　335
15.3.4　全模型和非全模型　336
15.3.5　超參數(shù)調(diào)整與驗證　336
15.3.6　利用AERONET數(shù)據(jù)進行偏差校正　337
15.4　插補結果　338
15.4.1　衛(wèi)星AOD和協(xié)變量概要　338
15.4.2　MERRA-2GMI重放模擬AOD降尺度　339
15.4.3　插補　343
15.4.4　用AERONET數(shù)據(jù)驗證模型并校正偏差　344
15.5　小結　346
參考文獻　348
第16章　地表參數(shù)反演　352
16.1　遙感反演模型概述　352
16.2　利用自動微分法轉換衛(wèi)星AOD與GAC　353
16.3　GAC模擬的材料和方法　354
16.3.1　案例研究區(qū)域　354
16.3.2　數(shù)據(jù)集　354
16.3.3　地面氣溶膠消光系數(shù)的模擬　355
16.3.4　自動微分法求解　357
16.3.5　驗證和比較　361
16.4　GAC模擬結果　361
16.4.1　描述性統(tǒng)計　361
16.4.2　學習和驗證　362
16.4.3　方法比較　363
16.4.4　地面氣溶膠系數(shù)模擬值和PMu預測值的空間分布　3