ChatGPT原理與架構(gòu)：大模型的預(yù)訓(xùn)練、遷移和中間件編程

定　價：￥99.00

作　者：	程戈著
出版社：	機(jī)械工業(yè)出版社
叢編項：
標(biāo)　簽：	暫缺

購買這本書可以去

ISBN：	9787111739562	出版時間：	2023-12-01	包裝：	平裝
開本：	16開	頁數(shù)：	210	字?jǐn)?shù)：

內(nèi)容簡介

　　內(nèi)容簡介這是一本深入闡述ChatGPT等大模型的工作原理、運(yùn)行機(jī)制、架構(gòu)設(shè)計和底層技術(shù)，以及預(yù)訓(xùn)練、遷移、微調(diào)和中間件編程的著作。它將幫助我們從理論角度全面理解大模型，從實踐角度好地應(yīng)用大模型，是作者成功訓(xùn)練并部署大模型的過程復(fù)盤和經(jīng)驗總結(jié)。第1章介紹了ChatGPT等大模型的發(fā)展歷程、技術(shù)演化和技術(shù)棧等基礎(chǔ)知識；第2~5章深入講解了Transformer的架構(gòu)原理，并從GPT-1的生成式預(yù)訓(xùn)練到GPT-3的稀疏注意力機(jī)制詳細(xì)描述了GPT系列的架構(gòu)演進(jìn)；6~8章從底層技術(shù)實現(xiàn)的角度講解了大語言模型的訓(xùn)練策略、數(shù)據(jù)處理方法，以及如何利用策略優(yōu)化和人類反饋來進(jìn)一步提升模型的表現(xiàn)；第9~10章首先詳細(xì)講解了大語言模型在垂直領(lǐng)域的低算力遷移方法，并給出了醫(yī)療和司法領(lǐng)域的遷移案例，然后講解了大模型的中間件編程； 1章對GPT的未來發(fā)展趨勢進(jìn)行預(yù)測，探討數(shù)據(jù)資源、自回歸模型的局限性，以及大語言模型時代具身智能的可行路線。

作者簡介

　　程戈博士生導(dǎo)師，湘潭大學(xué)計算機(jī)學(xué)院·網(wǎng)絡(luò)空間安全學(xué)院教授，湘潭大學(xué)技術(shù)轉(zhuǎn)移中心副主任，湘潭市京東智能城市與大數(shù)據(jù)研究院副院長，智慧司法與數(shù)字治理湖南省重點實驗室副主任，CCF計算法學(xué)會執(zhí)委。大模型領(lǐng)域技術(shù)專家和布道者，作為兩項科技部重點研發(fā)子課題的負(fù)責(zé)人，與成都數(shù)之聯(lián)等多家企業(yè)合作推動人工智能在司法領(lǐng)域的落地，帶領(lǐng)團(tuán)隊開發(fā)了JusticeGPT司法大模型，不同于其他的以提升司法領(lǐng)域知識問答能力為核心的司法大模型，該大模型致力于提升司法文獻(xiàn)檢索增強(qiáng)生成以及司法文檔的多跳信息聚合能力，并通過特定的多任務(wù)表征與控制指令生成框架重構(gòu)司法信息化系統(tǒng)的業(yè)務(wù)中臺，實現(xiàn)司法業(yè)務(wù)編排以及工作流自動化。連續(xù)創(chuàng)業(yè)者，先后創(chuàng)立湘潭安道致勝信息科技有限公司等多家企業(yè)，曾經(jīng)作為共同創(chuàng)始人加盟美國WiFi Free llc. ，開發(fā)了WiFi Free、WiFi Analyzer 等項目，其中WiFi Free在2014到2015年是Google Play市場相關(guān)WiFi分享類應(yīng)用下載的前三名。作為技術(shù)顧問，先后服務(wù)于北京捷通華聲等多家企業(yè)，提供知識表示學(xué)習(xí)的技術(shù)解決方案，為某知名私募開發(fā)了基于深度學(xué)習(xí)的股票趨勢預(yù)測系統(tǒng)，成為該私募公司的主要量化工具。

圖書目錄

目　　錄
前言
第1章　人工智能的新里程碑——ChatGPT　/　1
1.1　ChatGPT的發(fā)展歷程　/　1
1.2　ChatGPT的能力　/　3
1.3　大語言模型的技術(shù)演化　/　6
1.3.1　從符號主義到連接主義　/　6
1.3.2　Transformer模型　/　7
1.3.3　無監(jiān)督預(yù)訓(xùn)練　/　10
1.3.4　有監(jiān)督微調(diào)　/　11
1.3.5　人類反饋強(qiáng)化學(xué)習(xí)　/　11
1.4　大語言模型的技術(shù)棧　/　12
1.5　大語言模型帶來的影響　/　13
1.6　大語言模型復(fù)現(xiàn)的壁壘　/　16
1.6.1　算力瓶頸　/　16
1.6.2　數(shù)據(jù)瓶頸　/　17
1.6.3　工程瓶頸　/　18
1.7　大語言模型的局限性　/　19
1.8　小結(jié)　/　20
第2章　深入理解Transformer
模型　/　21
2.1　Transformer模型簡介　/　21
2.2　自注意力機(jī)制　/　23
2.2.1　自注意力機(jī)制的計算
過程　/　23
2.2.2　自注意力機(jī)制的本質(zhì)　/　26
2.2.3　自注意力機(jī)制的優(yōu)勢與局
限性　/　28
2.3　多頭注意力機(jī)制　/　29
2.3.1　多頭注意力機(jī)制的實現(xiàn)　/　29
2.3.2　多頭注意力機(jī)制的作用　/　31
2.3.3　多頭注意力機(jī)制的優(yōu)化　/　32
2.4　前饋神經(jīng)網(wǎng)絡(luò)　/　33
2.5　殘差連接　/　35
2.6　層歸一化　/　36
2.7　位置編碼　/　38
2.7.1　位置編碼的設(shè)計與實現(xiàn)　/　38
2.7.2　位置編碼的變體　/　40
2.7.3　位置編碼的優(yōu)勢與
局限性　/　41
2.8　訓(xùn)練與優(yōu)化　/　41
2.8.1　損失函數(shù)　/　41
2.8.2　優(yōu)化器　/　42
2.8.3　學(xué)習(xí)率調(diào)整策略　/　42
2.8.4　正則化　/　43
2.8.5　其他訓(xùn)練與優(yōu)化技巧　/　44
2.9　小結(jié)　/　46
第3章　生成式預(yù)訓(xùn)練　/　47
3.1　生成式預(yù)訓(xùn)練簡介　/　47
3.2　GPT的模型架構(gòu)　/　48
3.3　生成式預(yù)訓(xùn)練過程　/　50
3.3.1　生成式預(yù)訓(xùn)練的目標(biāo)　/　52
3.3.2　生成式預(yù)訓(xùn)練的誤差反向
傳播過程　/　53
3.4　有監(jiān)督微調(diào)　/　55
3.4.1　有監(jiān)督微調(diào)的原理　/　55
3.4.2　有監(jiān)督微調(diào)的特定任務(wù)　/　56
3.4.3　有監(jiān)督微調(diào)的步驟　/　58
3.5　小結(jié)　/　59
第4章　無監(jiān)督多任務(wù)與零樣本
學(xué)習(xí)　/　61
4.1　編碼器與解碼器　/　61
4.2　GPT-2的模型架構(gòu)　/　64
4.2.1　層歸一化　/　65
4.2.2　正交初始化　/　66
4.2.3　可逆的分詞方法　/　67
4.2.4　可學(xué)習(xí)的相對位置編碼　/　71
4.3　無監(jiān)督多任務(wù)　/　72
4.4　多任務(wù)學(xué)習(xí)與零樣本學(xué)習(xí)的
關(guān)系　/　74
4.5　GPT-2的自回歸生成過程　/　76
4.5.1　子詞單元嵌入　/　76
4.5.2　自回歸過程　/　77
4.6　小結(jié)　/　79
第5章　稀疏注意力與基于內(nèi)容的
學(xué)習(xí)　/　80
5.1　GPT-3的模型架構(gòu)　/　81
5.2　稀疏注意力模式　/　83
5.2.1　Sparse Transformer的
特點　/　83
5.2.2　局部帶狀注意力　/　85
5.2.3　跨層稀疏連接　/　85
5.3　元學(xué)習(xí)和基于內(nèi)容的學(xué)習(xí)　/　86
5.3.1　元學(xué)習(xí)　/　87
5.3.2　基于內(nèi)容的學(xué)習(xí)　/　87
5.4　概念分布的貝葉斯推斷　/　90
5.4.1　隱式微調(diào)　/　90
5.4.2　貝葉斯推斷　/　93
5.5　思維鏈的推理能力　/　95
5.6　小結(jié)　/　99
第6章　大語言模型的預(yù)訓(xùn)練
策略　/　100
6.1　預(yù)訓(xùn)練數(shù)據(jù)集　/　100
6.2　預(yù)訓(xùn)練數(shù)據(jù)的處理　/　102
6.3　分布式訓(xùn)練模式　/　104
6.3.1　數(shù)據(jù)并行　/　105
6.3.2　模型并行　/　106
6.4　分布式訓(xùn)練的技術(shù)路線　/　110
6.4.1　Pathways　/　111
6.4.2　Megatron-LM　/　113
6.4.3　ZeRO　/　116
6.5　訓(xùn)練策略案例　/　120
6.5.1　訓(xùn)練框架　/　120
6.5.2　參數(shù)穩(wěn)定性　/　120
6.5.3　訓(xùn)練設(shè)置的調(diào)整　/　121
6.5.4　BF16優(yōu)化　/　121
6.5.5　其他因素　/　122
6.6　小結(jié)　/　123
第7章　近端策略優(yōu)化算法　/　124
7.1　傳統(tǒng)的策略梯度方法　/　125
7.1.1　策略梯度方法的基本
原理　/　125
7.1.2　重要性采樣　/　127
7.1.3　優(yōu)勢函數(shù)　/　128
7.2　Actor-Critic算法　/　129
7.2.1　Actor-Critic算法的基本
步驟　/　130
7.2.2　值函數(shù)與策略新　/　131
7.2.3　Actor-Critic算法的問題與
挑戰(zhàn)　/　131
7.3　信任域策略優(yōu)化算法　/　132
7.3.1　TRPO算法的目標(biāo)　/　132
7.3.2　TRPO算法的局限性　/　133
7.4　PPO算法的原理　/　134
7.5　小結(jié)　/　137
第8章　人類反饋強(qiáng)化學(xué)習(xí)　/　138
8.1　強(qiáng)化學(xué)習(xí)在ChatGPT迭代中的
作用　/　138
8.2　InstructGPT訓(xùn)練數(shù)據(jù)集　/　140
8.2.1　微調(diào)數(shù)據(jù)集的來源　/　141
8.2.2　標(biāo)注標(biāo)準(zhǔn)　/　142
8.2.3　數(shù)據(jù)分析　/　143
8.3　人類反饋強(qiáng)化學(xué)習(xí)的訓(xùn)練
階段　/　145
8.3.1　有監(jiān)督微調(diào)階段　/　145
8.3.2　獎勵建模階段　/　147
8.3.3　強(qiáng)化學(xué)習(xí)階段　/　148
8.4　獎勵建模算法　/　149
8.4.1　算法思想　/　149
8.4.2　損失函數(shù)　/　150
8.5　PPO算法在InstructGPT中的
應(yīng)用　/　151
8.6　多輪對話能力　/　153
8.7　人類反饋強(qiáng)化學(xué)習(xí)的必要性　/　154
8.8　小結(jié)　/　156
第9章　大語言模型的低算力領(lǐng)域
遷移　/　157
9.1　指令自舉標(biāo)注　/　157
9.2　人工智能反饋　/　161
9.3　低秩自適應(yīng)　/　163
9.3.1　模型訓(xùn)練與部署　/　164
9.3.2　秩的選擇　/　165
9.4　量化：降低部署的算力要求　/　166
9.5　SparseGPT剪枝算法　/　168
9.6　開源大語言模型的低算力遷移
案例　/　170
9.6.1　基座模型　/　170
9.6.2　自舉指令微調(diào)的羊駝
系列　/　171
9.6.3　中文解決方案　/　172
9.6.4　醫(yī)療領(lǐng)域的遷移實例　/　174
9.6.5　司法領(lǐng)域的遷移實例　/　175
9.7　小結(jié)　/　178
0章　中間件編程　/　180
10.1　補(bǔ)齊短板—LangChain恰逢
其時　/　180
10.2　多模態(tài)融合中間件　/　184
10.2.1　任務(wù)規(guī)劃　/　185
10.2.2　模型選擇　/　187
10.2.3　任務(wù)執(zhí)行　/　188
10.2.4　響應(yīng)生成　/　189
10.3　AutoGPT自主代理與任務(wù)
規(guī)劃　/　189
10.4　中間件框架的競品　/　192
10.5　小結(jié)　/　194
1章　大語言模型的未來
之路　/　195
11.1　強(qiáng)人工智能之路　/　195
11.2　數(shù)據(jù)資源枯竭　/　198
11.3　自回歸模型的局限性　/　200
11.4　具身智能　/　202
11.4.1　具身智能的挑戰(zhàn)　/　203
11.4.2　PaLM-E　/　204
11.4.3　ChatGPT for Robotics　
/　205
11.5　小結(jié)　/　210