Python預(yù)訓(xùn)練視覺和大語言模型

第Ⅰ部分  預(yù)訓(xùn)練前
第1章　預(yù)訓(xùn)練基礎(chǔ)模型簡介   3
1.1  預(yù)訓(xùn)練和微調(diào)藝術(shù)   4
1.2  Transformer模型架構(gòu)和自注意力   6
1.3  最先進(jìn)的視覺模型和語言模型   8
1.3.1  截至2023年4月的頂級視覺模型   9
1.3.2  對比預(yù)訓(xùn)練與自然語言監(jiān)督   11
1.3.3  截至2023年4月的頂級語言模型   12
1.3.4  語言技術(shù)重點——因果建模和縮放法則   14
1.4  編碼器和解碼器   15
1.5  本章小結(jié)   17
第2章　數(shù)據(jù)集準(zhǔn)備：第1部分   19
2.1  為基礎(chǔ)建模尋找數(shù)據(jù)集和用例   19
2.2  你的數(shù)據(jù)集有多大區(qū)別   23
2.2.1  使用縮放法則調(diào)整數(shù)據(jù)集的大小   25
2.2.2  基礎(chǔ)——神經(jīng)語言模型的縮放法則   26
2.3  偏差檢測和減少   28
2.4  增強(qiáng)數(shù)據(jù)集——多語言、多模態(tài)和增強(qiáng)   30
2.5  本章小結(jié)   32
第3章　模型準(zhǔn)備   35
3.1  尋找最優(yōu)基礎(chǔ)模型   35
3.1.1  從最小的基礎(chǔ)模型開始   37
3.1.2  權(quán)衡——簡單與復(fù)雜   37
3.1.3  權(quán)衡——應(yīng)用于許多用例，而非局限于一個用例   38
3.1.4  找到最優(yōu)基礎(chǔ)模型的技術(shù)方法   39
3.2  尋找預(yù)訓(xùn)練損失函數(shù)   39
3.2.1  視覺的預(yù)訓(xùn)練損失函數(shù)——ViT和CoCa   41
3.2.2  語言中的預(yù)訓(xùn)練損失函數(shù)——Alexa教師模型   44
3.2.3  更改預(yù)訓(xùn)練損失函數(shù)   46
3.3  設(shè)定模型大小   46
3.3.1  解決模型大小問題的實用方法   49
3.3.2  并非所有縮放法則的效果都相同   49
3.3.3  規(guī)劃未來的實驗   50
3.4  本章小結(jié)   51
第Ⅱ部分　配置環(huán)境   
第4章　云容器和云加速器   55
4.1  什么是加速器，為什么它們很重要   55
4.2  準(zhǔn)備使用加速器   58
4.3  優(yōu)化加速器性能   63
4.3.1  超參數(shù)   63
4.3.2　AWS上加速器的基礎(chǔ)設(shè)施優(yōu)化   64
4.4  加速器性能故障排除   65
4.5  本章小結(jié)   67
第5章　分布式基礎(chǔ)知識   69
5.1  理解關(guān)鍵概念——數(shù)據(jù)和模型并行性   69
5.1.1  什么是數(shù)據(jù)并行   70
5.1.2  什么是模型并行   71
5.2  將模型與數(shù)據(jù)并行相結(jié)合   73
5.3  Amazon SageMaker分布式訓(xùn)練   74
5.3.1  分布式訓(xùn)練軟件   75
5.3.2  SM DDP   76
5.3.3  SMP庫   77
5.4  減少GPU內(nèi)存的高級技術(shù)   79
5.4.1  張量并行性   80
5.4.2  優(yōu)化器狀態(tài)分片   81
5.4.3  激活檢查點   81
5.4.4  分片數(shù)據(jù)并行性   81
5.5  當(dāng)今模型的示例   82
5.5.1  Stable Diffusion——大規(guī)模數(shù)據(jù)并行   82
5.5.2  GPT-3——大規(guī)模的模型和數(shù)據(jù)并行性   83
5.6  本章小結(jié)   84
第6章　數(shù)據(jù)集準(zhǔn)備：第2部分   85
6.1  Python中的數(shù)據(jù)加載器   86
6.2  構(gòu)建和測試自己的數(shù)據(jù)加載器——來自Stable Diffusion的案例研究   88
6.3  創(chuàng)建嵌入——詞元分析器和智能功能的其他關(guān)鍵步驟   91
6.4  在Amazon SageMaker上優(yōu)化數(shù)據(jù)管道   95
6.5  在AWS上大規(guī)模轉(zhuǎn)換深度學(xué)習(xí)數(shù)據(jù)集   98
6.6  本章小結(jié)   100
第Ⅲ部分　訓(xùn)練模型
第7章　尋找合適的超參數(shù)   103
7.1  超參數(shù)——批量大小、學(xué)習(xí)率等   103
7.2  微調(diào)策略   105
7.3  基礎(chǔ)模型的超參數(shù)微調(diào)   108
7.4  使用SageMaker根據(jù)world size放大   109
7.5  本章小結(jié)   113
第8章　SageMaker的大規(guī)模訓(xùn)練   115
8.1  優(yōu)化SageMaker訓(xùn)練的腳本   115
8.1.1  導(dǎo)入程序包   116
8.1.2  參數(shù)解析   116
8.1.3　函數(shù)定義和用法   118
8.2  SageMaker訓(xùn)練的頂級可用性功能   121
8.2.1  用于快速實驗的暖池   121
8.2.2  SSM和SSH進(jìn)入訓(xùn)練實例   122
8.2.3  跟蹤作業(yè)和實驗以復(fù)制結(jié)果   123
8.3  本章小結(jié)   127
第9章　高級訓(xùn)練概念   129
9.1  評估和提高吞吐量   129
9.2  使用Flash注意力加速訓(xùn)練運(yùn)行   132
9.3  通過編譯加快作業(yè)速度   133
9.4  Amazon SageMaker訓(xùn)練編譯器和Neo   135
9.5  在亞馬遜的Trainium和Inferentia自定義硬件上運(yùn)行編譯后的模型   137
9.6  求解最優(yōu)訓(xùn)練時間   138
9.7  本章小結(jié)   140
第Ⅳ部分  評估模型   
第10章  微調(diào)和評估   143
10.1  對語言、文本和其間的一切進(jìn)行微調(diào)   143
10.1.1  微調(diào)純語言模型   145
10.1.2  微調(diào)純視覺模型   147
10.1.3  微調(diào)視覺語言模型   149
10.2  評估基礎(chǔ)模型   150
10.2.1  視覺模型評估指標(biāo)   150
10.2.2  語言模型評估指標(biāo)   152
10.2.3  聯(lián)合視覺-語言任務(wù)中的模型評估指標(biāo)   154
10.2.4  通過SageMaker Ground Truth將人類視角與標(biāo)簽相結(jié)合   156
10.3  從人類反饋中強(qiáng)化學(xué)習(xí)   157
10.4  本章小結(jié)   158
第11章  檢測、減少和監(jiān)控偏差   161
11.1  檢測機(jī)器學(xué)習(xí)模型中的偏差   161
11.2  減少視覺和語言模型中的偏差   165
11.2.1  語言模型中的偏差減少——反事實數(shù)據(jù)增強(qiáng)和公平損失函數(shù)   166
11.2.2  視覺模型中的偏差減少——減少相關(guān)性并解決采樣問題   169
11.3  監(jiān)控機(jī)器學(xué)習(xí)模型中的偏差   170
11.4  使用SageMaker Clarify檢測、減輕和監(jiān)控偏差   172
11.5  本章小結(jié)   173
第Ⅴ部分  部署模型
第12章  如何部署模型   177
12.1  模型部署的定義   177
12.2  托管模型的最優(yōu)方式   179
12.3  為什么縮小模型，以及如何縮小   182
12.3.1  模型編譯   183
12.3.2  知識蒸餾   183
12.3.3  量化   184
12.4  在SageMaker上托管分布式模型   184
12.5  模型服務(wù)器和端到端托管優(yōu)化   186
12.6  本章小結(jié)   188
第13章  提示工程   189
13.1  提示工程——以少搏多的藝術(shù)   189
13.2  從少樣本學(xué)習(xí)到零樣本學(xué)習(xí)   190
13.3  文本到圖像提示工程的注意之處   193
13.4  圖像到圖像提示工程的注意之處   196
13.4.1  放大   196
13.4.2  掩膜   196
13.4.3  使用DreamBooth提示目標(biāo)到圖像   197
13.5  提示大型語言模型   198
13.5.1  指令微調(diào)   198
13.5.2  思維鏈提示   199
13.5.3  摘要   200
13.5.4  防止提示注入和越獄   200
13.6  高級技術(shù)——前綴和提示微調(diào)   201
13.6.1  前綴微調(diào)   201
13.6.2  提示微調(diào)   203
13.7  本章小結(jié)   204
第14章  視覺和語言MLOps   205
14.1  什么是MLOps？   205
14.2  持續(xù)集成和持續(xù)部署   208
14.3  模型監(jiān)控和人機(jī)回環(huán)   210
14.4  基礎(chǔ)模型的MLOps   212
14.5  視覺MLOps   213
14.6  AWS為MLOps提供的服務(wù)   215
14.7  本章小結(jié)   218
第15章  預(yù)訓(xùn)練基礎(chǔ)模型的未來趨勢   219
15.1  構(gòu)建LLM應(yīng)用程序的技術(shù)   219
15.1.1  使用開源堆棧構(gòu)建交互式對話應(yīng)用程序   220
15.1.2  使用RAG確保LLM應(yīng)用程序的高準(zhǔn)確性   222
15.1.3  生成是新的分類嗎？   223
15.1.4  用LLM構(gòu)建應(yīng)用的人性化設(shè)計   224
15.2  其他生成式模式   225
15.3  基礎(chǔ)模型中的AWS產(chǎn)品   226
15.4  基礎(chǔ)模型的未來   228
15.5  預(yù)訓(xùn)練的未來   229
15.6  本章小結(jié)   232
——?以下內(nèi)容可掃描封底二維碼下載?——
參考文獻(xiàn)   233