多模態(tài)大模型：技術(shù)原理與實戰(zhàn)

第1章 OpenAI一鳴驚人帶來的啟示 1
1.1 OpenAI的成長并非一帆風順 2
1.2 OpenAI的成功因素 5
1.3 OpenAI特殊的股權(quán)設計帶來的啟示 7
1.4 思考 11
第2章 自然語言處理的發(fā)展歷程 13
2.1 自然語言處理的發(fā)展史 14
2.1.1 背景介紹 14
2.1.2 自然語言處理發(fā)展的7個階段 15
2.2 從BERT模型到ChatGPT 30
2.3 BERT模型到底解決了哪些問題 31
2.4 BERT模型誕生之后行業(yè)持續(xù)摸索 38
2.5 ChatGPT的誕生 41
2.5.1 InstructGPT模型的構(gòu)建流程 42
2.5.2 ChatGPT和InstructGPT的差異 44
2.5.3 ChatGPT和BERT模型在公開數(shù)據(jù)集上的測試 45
2.5.4 高質(zhì)量的數(shù)據(jù)標注 46
2.6 思考 48
第3章 讀懂ChatGPT的核心技術(shù) 50
3.1 基于Transformer的預訓練語言模型 50
3.2 提示學習與指令微調(diào) 55
3.3 基于人工反饋的強化學習 59
3.4 思維鏈方法 62
3.5 集成學習 64
3.6 思考 67
第4章 看清GPT的進化史和創(chuàng)新點 68
4.1 GPT技術(shù)的發(fā)展歷程 68
4.1.1 GPT-1技術(shù)的發(fā)展歷程 68
4.1.2 GPT-2技術(shù)的發(fā)展歷程 72
4.1.3 GPT-3技術(shù)的發(fā)展歷程 73
4.2 GPT的創(chuàng)新點總結(jié) 75
4.3 思考 77
第5章 大模型 多模態(tài)產(chǎn)生的“化學反應” 78
5.1 多模態(tài)模型的發(fā)展歷史 78
5.2 單模態(tài)學習、多模態(tài)學習和跨模態(tài)學習的區(qū)別 82
5.3 多模態(tài)大模型發(fā)展的重大里程碑 85
5.4 大模型 多模態(tài)的3種實現(xiàn)方法 94
5.5 多模態(tài)大模型的效果評估 99
5.6 思考 102
第6章 多模態(tài)大模型的核心技術(shù) 103
6.1 文本多模態(tài)技術(shù) 104
6.1.1 基于模板的圖像描述方法 105
6.1.2 基于檢索的圖像描述方法 105
6.1.3 基于深度學習的圖像描述方法 105
6.2 圖像多模態(tài)技術(shù) 106
6.2.1 基于對抗網(wǎng)絡的文本生成圖像方法 107
6.2.2 基于VAE的文本生成圖像方法 109
6.2.3 基于擴散模型的文本生成圖像方法 110
6.3 語音多模態(tài)技術(shù) 111
6.3.1 基于非深度學習的文本生成語音技術(shù) 111
6.3.2 基于深度學習的文本生成語音技術(shù) 113
6.4 視頻多模態(tài)技術(shù) 116
6.4.1 非擴散模型的文本生成視頻技術(shù) 117
6.4.2 基于擴散模型的文本生成視頻技術(shù) 118
6.5 跨模態(tài)多重組合技術(shù) 119
6.6 多模態(tài)大模型高效的訓練方法 120
6.7 GPT-4多模態(tài)大模型核心技術(shù)介紹 121
6.8 多模態(tài)技術(shù)的發(fā)展趨勢 122
第7章 國內(nèi)外多模態(tài)大模型對比 124
7.1 國內(nèi)多模態(tài)大模型介紹 125
7.1.1 LLaMA-Adapter V2 125
7.1.2 VisualGLM-6B 128
7.1.3 mPLUG-Owl 129
7.2 國外多模態(tài)大模型介紹 131
7.2.1 Visual ChatGPT 131
7.2.2 InstructBLIP 132
7.2.3 MiniGPT-4 134
7.3 多模態(tài)大模型評測數(shù)據(jù)集 135
7.3.1 國內(nèi)評測數(shù)據(jù)集 136
7.3.2 國外評測數(shù)據(jù)集 136
7.4 多模態(tài)大模型的評測標準 137
7.4.1 國內(nèi)評測標準 137
7.4.2 國外評測標準 138
7.5 多模態(tài)大模型對比 139
7.5.1 感知能力評測 139
7.5.2 認知能力評測 141
7.6 思考 145
第8章 中小公司的大模型構(gòu)建之路 146
8.1 微調(diào)技術(shù)介紹 147
8.1.1 LoRA技術(shù) 148
8.1.2 AdaLoRA技術(shù) 149
8.1.3 QLoRA技術(shù) 149
8.1.4 微調(diào)加DeepSpeed的ZeRO-3 150
8.2 模型壓縮技術(shù)介紹 151
8.2.1 剪枝 151
8.2.2 知識蒸餾 153
8.2.3 量化壓縮 154
8.3 微調(diào)實戰(zhàn) 155
8.3.1 部分參數(shù)微調(diào)實戰(zhàn) 156
8.3.2 全參數(shù)微調(diào)實戰(zhàn) 157
8.4 模型壓縮實戰(zhàn) 159
8.4.1 8位量化壓縮實戰(zhàn) 159
8.4.2 4位量化壓縮實戰(zhàn) 160
8.5 思考 162
第9章 從0到1部署多模態(tài)大模型 163
9.1 部署環(huán)境準備 163
9.2 部署流程 165
9.3 使用Flask框架進行API開發(fā) 167
9.4 使用Gradio框架進行Web頁面開發(fā) 171
9.5 其他部署方法介紹 176
9.6 部署過程中常見的問題總結(jié) 179
第10章 多模態(tài)大模型的主要應用場景 183
10.1 多模態(tài)大模型的應用圖譜 183
10.1.1 多模態(tài)大模型的30個基礎應用 183
10.1.2 多模態(tài)大模型在六大領(lǐng)域中的應用 189
10.2 多模態(tài)大模型在金融領(lǐng)域中的應用 193
10.2.1 語音質(zhì)檢 194
10.2.2 智能顧問 196
10.3 多模態(tài)大模型在出行與物流領(lǐng)域中的應用 201
10.4 多模態(tài)大模型在電商領(lǐng)域中的應用 203
10.4.1 智能客服 203
10.4.2 智能試穿 205
10.5 多模態(tài)大模型在工業(yè)設計與生產(chǎn)領(lǐng)域中的應用 207
10.6 多模態(tài)大模型在醫(yī)療健康領(lǐng)域中的應用 210
10.7 多模態(tài)大模型在教育培訓領(lǐng)域的應用 215
10.8 思考 216
第11章 用多模態(tài)大模型打造AI助理實戰(zhàn) 218
11.1 應用背景 218
11.2 方法論介紹 219
11.2.1 思維鏈解決復雜的推理問題 219
11.2.2 思維樹進一步提升推理能力 220
11.2.3 采用插值法解決長文本輸入問題 220
11.3 工具和算法框架介紹 222
11.3.1 使用的工具 222
11.3.2 使用的算法框架 222
11.4 優(yōu)化邏輯介紹 224
11.4.1 如何提高多輪對話能力 225
11.4.2 如何提高角色扮演能力 225
11.4.3 如何提高長文本閱讀能力 226
11.5 多模態(tài)大模型的部署 227
11.6 多模態(tài)大模型的性能評估 228
11.6.1 綜合性能評估 228
11.6.2 長文本閱讀示例 229
11.6.3 多輪對話示例 230
11.6.4 角色扮演示例 233
11.6.5 LangChain框架賦能Ziya在限定域內(nèi)的問答示例 234
11.7 思考 235
第12章 多模態(tài)大模型在情緒識別領(lǐng)域的應用 236
12.1 應用背景和待解決的問題 236
12.2 方法論介紹 238
12.3 工具和算法框架介紹 243
12.3.1 算法的輸入和輸出 243
12.3.2 算法框架的整體構(gòu)建流程 244
12.3.3 文本預訓練任務 245
12.3.4 圖像預訓練任務 247
12.3.5 多模態(tài)預訓練任務 248
12.3.6 算法的求解 249
12.3.7 算法的應用 250
12.4 優(yōu)化邏輯介紹 251
12.5 部署流程 253
12.6 效果評測 254
12.6.1 評測數(shù)據(jù)集 254
12.6.2 評測指標 257
12.6.3 評測結(jié)果 257
12.7 思考 259
第13章 大模型在軟件研發(fā)領(lǐng)域的實戰(zhàn)案例與前沿探索 261
13.1 LLM在軟件研發(fā)過程中的單點提效 262
13.1.1 基于GitHub Copilot的代碼片段智能生成 262
13.1.2 基于Copilot X實現(xiàn)增強的代碼片段智能生成 266
13.1.3 基于GitHub Copilot X實現(xiàn)對選中代碼的理解與解讀 268
13.1.4 基于GitHub Copilot X的Pull Requests提效 269
13.1.5 基于LLM實現(xiàn)的“代碼刷” 270
13.1.6 使用Copilot Voice實現(xiàn)語音驅(qū)動的代碼開發(fā) 272
13.1.7 使用Copilot CLI實現(xiàn)命令行的自動生成 274
13.1.8 使用TestPilot實現(xiàn)單元測試用例的自動生成 275
13.1.9 更多的應用 277
13.2 代碼LLM為軟件研發(fā)帶來的機遇與挑戰(zhàn) 277
13.2.1 對于軟件研發(fā)來說，什么變了 278
13.2.2 對于軟件研發(fā)來說，什么沒有變 278
13.3 在LLM時代，對軟件研發(fā)的更多思考 283
13.3.1 思考1：替代的是“碼農(nóng)”，共生的是工程師 283
13.3.2 思考2：有利于控制研發(fā)團隊規(guī)模，保持小團隊的
效率優(yōu)勢 284
13.3.3 思考3：不可避免的“暗知識” 284
13.3.4 思考4：Prompt即代碼，代碼不再是代碼 285
13.3.5 思考5：Prompt to Executable軟件研發(fā)范式的可能性 286
13.4 思考 286