Diffusion AI繪圖模型構(gòu)造與訓(xùn)練實戰(zhàn)

第1章介紹Diffusion模型的發(fā)展歷程，以及本書中相關(guān)任務(wù)的訓(xùn)練方法。
第2章介紹開發(fā)環(huán)境的配置，并且快速上手Diffusion模型的使用。
第3章介紹不定圖像的生成任務(wù)。
第4章介紹文本訓(xùn)練方法。
第5章介紹Dream Booth訓(xùn)練方法。
第6章介紹圖文結(jié)合的訓(xùn)練方法。
第7章介紹使用LoRA技巧加速訓(xùn)練。
第8章介紹AE模型。
第9章介紹VAE模型。
第10章介紹DCGAN模型。
第11章介紹WGANGP模型。
第12章手動構(gòu)造一個沒有文本輸入的Diffusion模型。
第13章介紹ControlNet組件。
第14章介紹Instruct Pix2Pix訓(xùn)練方法。
第15章介紹正負(fù)樣本混合訓(xùn)練方法。
第16章介紹Pix2Pix模型。
第17章介紹CycleGAN模型。
第18章介紹風(fēng)格遷移任務(wù)。
第19章手動構(gòu)建一個完整的Diffusion模型。
閱讀建議
本書是一本對Diffusion模型進(jìn)行綜合性講解的書籍，既有基礎(chǔ)知識，也有實戰(zhàn)示例，也包括底層原理的講解。
本書盡量以簡潔的語言書寫，每個章節(jié)之間的內(nèi)容盡量獨立，使讀者可以跳躍閱讀而沒有障礙。
作為一本實戰(zhàn)型書籍，讀者要掌握本書的知識，務(wù)必要結(jié)合代碼調(diào)試，本書的代碼也盡量以簡潔的形式書寫，使讀者閱讀時不感吃力。每個代碼塊即是一個測試單元，讀者可以對每個程序的每個代碼塊按從上到下的順序進(jìn)行測試，從一個個小知識點聚沙成塔，融會貫通。
資源下載提示
素材（源碼）等資源: 掃描封底的文泉云盤防盜碼，再掃描目錄上方的二維碼下載。
致謝
感謝HuggingFace社區(qū)無私的奉獻(xiàn)，因為有了你們的工作成果，本書才得以以簡潔、標(biāo)準(zhǔn)化的API面世。
在書寫本書的過程中，我竭盡所能為讀者呈現(xiàn)最好的內(nèi)容，錯漏難免會存在，敬請讀者批評指正。
李福林2023年11月
本書源碼
快速上手篇
第1章Diffusion模型3
1.1Diffusion模型介紹3
1.1.1Diffusion模型的演化之路4
1.1.2圖像以外的應(yīng)用6
1.1.3其他的繪圖模型6
1.2微調(diào)預(yù)訓(xùn)練模型6
1.2.1預(yù)訓(xùn)練模型6
1.2.2微調(diào)模型以適應(yīng)新數(shù)據(jù)7
1.2.3微調(diào)相比重新訓(xùn)練的優(yōu)勢7
1.3小結(jié)8
第2章快速上手9
2.1部署開發(fā)環(huán)境9
2.2HuggingFace簡介和快速上手11
2.2.1快速上手11
2.2.2加速技巧12
2.3Diffusion模型相關(guān)組件介紹13
2.3.1tokenizer13
2.3.2scheduler15
2.3.3Encoder16
2.3.4VAE17
2.3.5UNet18
2.4小結(jié)20
訓(xùn)練方法篇
第3章不定圖像的生成23
3.1任務(wù)簡介23
3.2數(shù)據(jù)集介紹23
3.3測試部分24
3.3.1測試函數(shù)24
3.3.2未訓(xùn)練模型的測試結(jié)果25
3.3.3訓(xùn)練后模型的測試結(jié)果27
3.4訓(xùn)練部分28
3.4.1全局常量28
3.4.2定義數(shù)據(jù)集28
3.4.3定義模型30
3.4.4初始化工具類31
3.4.5計算loss32
3.4.6訓(xùn)練34
3.5小結(jié)35
第4章文本訓(xùn)練36
4.1任務(wù)簡介36
4.2數(shù)據(jù)集介紹36
4.3測試部分37
4.3.1測試函數(shù)37
4.3.2未訓(xùn)練模型的測試結(jié)果38
4.3.3訓(xùn)練后模型的測試結(jié)果39
4.4訓(xùn)練部分39
4.4.1全局常量39
4.4.2定義數(shù)據(jù)集39
4.4.3定義模型44
4.4.4初始化工具類47
4.4.5計算loss47
4.4.6訓(xùn)練50
4.5小結(jié)51
第5章Dream Booth53
5.1任務(wù)簡介53
5.2數(shù)據(jù)集介紹53
5.3測試部分54
5.3.1測試函數(shù)54
5.3.2未訓(xùn)練模型的測試結(jié)果55
5.3.3訓(xùn)練后模型的測試結(jié)果55
5.4訓(xùn)練部分56
5.4.1全局常量56
5.4.2定義數(shù)據(jù)集56
5.4.3定義模型60
5.4.4初始化工具類61
5.4.5計算loss61
5.4.6訓(xùn)練62
5.5小結(jié)64
第6章圖文結(jié)合的訓(xùn)練65
6.1任務(wù)簡介65
6.2數(shù)據(jù)集介紹65
6.3測試部分66
6.3.1測試函數(shù)67
6.3.2未訓(xùn)練模型的測試結(jié)果68
6.3.3訓(xùn)練后模型的測試結(jié)果68
6.4訓(xùn)練部分69
6.4.1全局常量69
6.4.2定義數(shù)據(jù)集69
6.4.3定義模型73
6.4.4初始化工具類73
6.4.5計算loss74
6.4.6訓(xùn)練75
6.5小結(jié)77
第7章LoRA Dream Booth78
7.1任務(wù)簡介78
7.2數(shù)據(jù)集介紹79
7.3測試部分79
7.3.1測試函數(shù)79
7.3.2未訓(xùn)練模型的測試結(jié)果80
7.3.3訓(xùn)練后模型的測試結(jié)果80
7.4訓(xùn)練部分81
7.4.1全局常量81
7.4.2定義數(shù)據(jù)集81
7.4.3定義模型84
7.4.4初始化工具類87
7.4.5計算loss87
7.4.6訓(xùn)練88
7.5小結(jié)89
圖像生成模型的歷史發(fā)展篇
第8章AE模型93
8.1模型原理介紹93
8.2鮮花數(shù)據(jù)集介紹94
8.3定義數(shù)據(jù)集95
8.4定義神經(jīng)網(wǎng)絡(luò)模型98
8.4.1定義Block工具層98
8.4.2定義Encoder和Decoder100
8.5訓(xùn)練101
8.5.1訓(xùn)練前的準(zhǔn)備工作101
8.5.2執(zhí)行訓(xùn)練102
8.6測試104
8.6.1測試本地訓(xùn)練的模型104
8.6.2使用訓(xùn)練好的模型測試105
8.7小結(jié)105
第9章VAE模型106
9.1AE模型的缺陷106
9.2定義神經(jīng)網(wǎng)絡(luò)模型107
9.3訓(xùn)練108
9.3.1訓(xùn)練前的準(zhǔn)備工作108
9.3.2執(zhí)行訓(xùn)練109
9.4測試111
9.4.1測試本地訓(xùn)練的模型111
9.4.2使用訓(xùn)練好的模型測試111
9.5小結(jié)113
第10章DCGAN模型114
10.1模型原理介紹114
10.2定義神經(jīng)網(wǎng)絡(luò)模型115
10.2.1定義CLS模型115
10.2.2定義GEN模型116
10.3訓(xùn)練117
10.3.1訓(xùn)練前的準(zhǔn)備工作117
10.3.2訓(xùn)練CLS模型的函數(shù)118
10.3.3訓(xùn)練GEN模型的函數(shù)119
10.3.4執(zhí)行訓(xùn)練120
10.4測試122
10.4.1測試本地訓(xùn)練的模型122
10.4.2使用訓(xùn)練好的模型測試122
10.5小結(jié)123
第11章WGANGP模型124
11.1模型原理介紹124
11.2定義神經(jīng)網(wǎng)絡(luò)模型125
11.3訓(xùn)練126
11.3.1訓(xùn)練前的準(zhǔn)備工作126
11.3.2訓(xùn)練CLS模型的函數(shù)127
11.3.3執(zhí)行訓(xùn)練128
11.4測試130
11.4.1測試本地訓(xùn)練的模型130
11.4.2使用訓(xùn)練好的模型測試130
11.5小結(jié)131
第12章Diffusion模型132
12.1模型原理介紹132
12.2定義神經(jīng)網(wǎng)絡(luò)模型134
12.3定義圖像生成函數(shù)142
12.4訓(xùn)練144
12.5測試146
12.6小結(jié)147
訓(xùn)練方法篇
第13章ControlNet以圖生圖151
13.1任務(wù)簡介151
13.2數(shù)據(jù)集介紹153
13.3測試部分154
13.3.1測試函數(shù)155
13.3.2未訓(xùn)練模型的測試結(jié)果156
13.3.3訓(xùn)練后模型的測試結(jié)果158
13.4訓(xùn)練部分159
13.4.1全局常量159
13.4.2定義數(shù)據(jù)集159
13.4.3定義ControlNet模型162
13.4.4定義模型168
13.4.5初始化工具類169
13.4.6計算loss169
13.4.7訓(xùn)練171
13.5小結(jié)172
第14章Instruct Pix2Pix圖像調(diào)整173
14.1任務(wù)簡介173
14.2數(shù)據(jù)集介紹174
14.3測試部分175
14.3.1加載數(shù)據(jù)集175
14.3.2測試函數(shù)176
14.4訓(xùn)練部分179
14.4.1全局常量179
14.4.2定義數(shù)據(jù)集180
14.4.3定義模型181
14.4.4初始化工具類182
14.4.5計算loss183
14.4.6訓(xùn)練186
14.5小結(jié)187
第15章正、負(fù)樣本混合訓(xùn)練188
15.1任務(wù)簡介188
15.2數(shù)據(jù)集介紹188
15.3測試部分190
15.3.1配置環(huán)境190
15.3.2測試函數(shù)191
15.3.3未訓(xùn)練模型的測試結(jié)果191
15.3.4訓(xùn)練后模型的測試結(jié)果192
15.4訓(xùn)練部分193
15.4.1全局常量193
15.4.2定義數(shù)據(jù)集193
15.4.3定義模型200
15.4.4初始化工具類203
15.4.5計算loss203
15.4.6訓(xùn)練206
15.5小結(jié)207
以圖生圖模型的歷史發(fā)展篇
第16章Pix2Pix模型211
16.1任務(wù)介紹211
16.2數(shù)據(jù)集介紹212
16.3定義數(shù)據(jù)集213
16.4定義神經(jīng)網(wǎng)絡(luò)模型216
16.4.1定義CLS模型217
16.4.2定義殘差連接層217
16.4.3定義GEN模型218
16.5訓(xùn)練220
16.5.1訓(xùn)練前的準(zhǔn)備工作220
16.5.2訓(xùn)練CLS的函數(shù)221
16.5.3訓(xùn)練GEN的函數(shù)222
16.5.4執(zhí)行訓(xùn)練223
16.6測試226
16.6.1測試本地訓(xùn)練的模型226
16.6.2使用訓(xùn)練好的模型測試228
16.7小結(jié)228
第17章CycleGAN模型230
17.1模型原理介紹230
17.2數(shù)據(jù)集介紹231
17.3定義數(shù)據(jù)集232
17.4定義神經(jīng)網(wǎng)絡(luò)模型234
17.4.1定義CLS模型234
17.4.2定義GEN模型235
17.5訓(xùn)練237
17.5.1訓(xùn)練前的準(zhǔn)備工作237
17.5.2訓(xùn)練CLS的函數(shù)238
17.5.3訓(xùn)練GEN的函數(shù)239
17.5.4執(zhí)行訓(xùn)練242
17.6測試243
17.6.1測試本地訓(xùn)練的模型243
17.6.2使用訓(xùn)練好的模型測試244
17.7小結(jié)245
Diffusion模型篇
第18章風(fēng)格遷移249
18.1模型原理介紹249
18.1.1針對單張圖片的風(fēng)格遷移249
18.1.2基于神經(jīng)網(wǎng)絡(luò)模型的風(fēng)格遷移250
18.1.3風(fēng)格遷移模型的訓(xùn)練方法250
18.1.4數(shù)據(jù)部分251
18.2定義神經(jīng)網(wǎng)絡(luò)模型252
18.2.1定義CLS模型254
18.2.2定義抽取內(nèi)容特征的函數(shù)254
18.2.3定義抽取風(fēng)格特征的函數(shù)255
18.2.4加載風(fēng)格圖片特征256
18.3訓(xùn)練257
18.3.1訓(xùn)練前的準(zhǔn)備工作257
18.3.2執(zhí)行訓(xùn)練257
18.4測試259
18.4.1測試本地訓(xùn)練的模型259
18.4.2使用訓(xùn)練好的模型測試260
18.5小結(jié)260
第19章手動構(gòu)建Diffusion模型261
19.1模型原理介紹261
19.2Encoder模型263
19.2.1編碼層263
19.2.2注意力層264
19.2.3編碼器層266
19.2.4Encoder模型268
19.2.5載入?yún)?shù)268
19.2.6試算270
19.3VAE模型270
19.3.1殘差連接層270
19.3.2注意力層272
19.3.3Pad工具層274
19.3.4VAE模型275
19.3.5載入?yún)?shù)278
19.3.6試算280
19.4UNet模型281
19.4.1模型結(jié)構(gòu)281
19.4.2殘差連接層282
19.4.3注意力層284
19.4.4Transformers層286
19.4.5down層289
19.4.6up層290
19.4.7UNet模型291
19.4.8載入?yún)?shù)296
19.4.9試算298
19.5訓(xùn)練299
19.5.1加載工具類299
19.5.2定義數(shù)據(jù)集300
19.5.3定義模型303
19.5.4計算loss304
19.5.5執(zhí)行訓(xùn)練305
19.6測試306
19.6.1定義生成函數(shù)306
19.6.2定義測試函數(shù)308
19.6.3測試未訓(xùn)練的模型309
19.6.4測試訓(xùn)練好的模型310
19.7小結(jié)311