大語(yǔ)言模型：原理與工程實(shí)踐

目 錄
1 解鎖大語(yǔ)言模型1
1.1 什么是大語(yǔ)言模型·1
1.2 語(yǔ)言模型的發(fā)展·2
1.3 GPT 系列模型的發(fā)展·3
1.4 大語(yǔ)言模型的關(guān)鍵技術(shù)·4
1.5 大語(yǔ)言模型的涌現(xiàn)能力·5
1.6 大語(yǔ)言模型的推理能力·5
1.7 大語(yǔ)言模型的縮放定律·6
參考文獻(xiàn)·7
2 大語(yǔ)言模型基礎(chǔ)技術(shù)·8
2.1 語(yǔ)言表示介紹·8
2.1.1 詞表示技術(shù)·8
2.1.2 分詞技術(shù)·9
2.2 經(jīng)典結(jié)構(gòu) Transformer·14
2.2.1 輸入模塊·15
2.2.2 多頭自注意力模塊·16
2.2.3 殘差連接與層歸一化·19
2.2.4 前饋神經(jīng)網(wǎng)絡(luò)·19
2.2.5 解碼器·19
2.3 預(yù)訓(xùn)練語(yǔ)言模型·21
2.3.1 Decoder 的代表：GPT 系列·21
2.3.2 Encoder 的代表：BERT·23
2.4 初探大語(yǔ)言模型·24
2.4.1 InstructGPT·24
2.4.2 LLaMA 系列·28
參考文獻(xiàn)·30
3 預(yù)訓(xùn)練數(shù)據(jù)構(gòu)建·32
3.1 數(shù)據(jù)的常見類別及其來(lái)源·32
3.1.1 網(wǎng)頁(yè)數(shù)據(jù)·33
3.1.2 書籍?dāng)?shù)據(jù)·34
3.1.3 百科數(shù)據(jù)·34
3.1.4 代碼數(shù)據(jù)·34
3.1.5 其他數(shù)據(jù)·36
3.2 數(shù)據(jù)的預(yù)處理方式·36
3.2.1 正文提取·37
3.2.2 質(zhì)量過濾·37
3.2.3 文檔去重·38
3.2.4 數(shù)據(jù)集凈化·39
3.3 常用數(shù)據(jù)集的完整構(gòu)建方式 ·40
3.3.1 C4·40
3.3.2 MassiveText·40
3.3.3 RefinedWeb·41
3.3.4 ROOTS·42
3.4 難點(diǎn)和挑戰(zhàn)·43
3.4.1 數(shù)據(jù)收集的局限性·43
3.4.2 數(shù)據(jù)質(zhì)量評(píng)估的挑戰(zhàn)·43
3.4.3 自動(dòng)生成數(shù)據(jù)的風(fēng)險(xiǎn)·44
參考文獻(xiàn)·44
4 大語(yǔ)言模型預(yù)訓(xùn)練·46
4.1 大語(yǔ)言模型為什么這么強(qiáng)·46
4.2 大語(yǔ)言模型的核心模塊·49
4.2.1 核心架構(gòu)·49
4.2.2 組成模塊選型·51
4.3 大語(yǔ)言模型怎么訓(xùn)練·60
4.3.1 訓(xùn)練目標(biāo)·60
4.3.2 數(shù)據(jù)配比·62
4.4 預(yù)訓(xùn)練還有什么沒有解決·65
參考文獻(xiàn)·66
5 挖掘大語(yǔ)言模型潛能：有監(jiān)督微調(diào)·67
5.1 揭開有監(jiān)督微調(diào)的面紗·67
5.1.1 什么是有監(jiān)督微調(diào)·67
5.1.2 有監(jiān)督微調(diào)的作用與意義·68
5.1.3 有監(jiān)督微調(diào)的應(yīng)用場(chǎng)景·68
5.2 有監(jiān)督微調(diào)數(shù)據(jù)的構(gòu)建·69
5.2.1 有監(jiān)督微調(diào)數(shù)據(jù)的格式·69
5.2.2 有監(jiān)督微調(diào)數(shù)據(jù)的自動(dòng)化構(gòu)建·70
5.2.3 有監(jiān)督微調(diào)數(shù)據(jù)的選擇·75
5.3 大語(yǔ)言模型的微調(diào)方法·76
5.3.1 全參數(shù)微調(diào)·76
5.3.2 適配器微調(diào)·76
5.3.3 前綴微調(diào)·77
5.3.4 提示微調(diào)·78
5.3.5 低秩適配·79
5.4 大語(yǔ)言模型的微調(diào)和推理策略·79
5.4.1 混合微調(diào)策略·80
5.4.2 基于上下文學(xué)習(xí)的推理策略·81
5.4.3 基于思維鏈的推理策略·82
5.5 大語(yǔ)言模型微調(diào)的挑戰(zhàn)和探索·83
5.5.1 大語(yǔ)言模型微調(diào)的幻覺問題·83
5.5.2 大語(yǔ)言模型微調(diào)面臨的挑戰(zhàn)·84
5.5.3 大語(yǔ)言模型微調(diào)的探索與展望 ·84
參考文獻(xiàn)·85
6 大語(yǔ)言模型強(qiáng)化對(duì)齊·87
6.1 強(qiáng)化學(xué)習(xí)基礎(chǔ) ·87
6.1.1 強(qiáng)化學(xué)習(xí)的基本概念·87
6.1.2 強(qiáng)化學(xué)習(xí)中的隨機(jī)性·88
6.1.3 強(qiáng)化學(xué)習(xí)的目標(biāo)·89
6.1.4 Q 函數(shù)與 V 函數(shù)·89
6.2 DQN 方法·91
6.2.1 DQN 的結(jié)構(gòu)·91
6.2.2 DQN 訓(xùn)練：基本思想·92
6.2.3 DQN 訓(xùn)練：目標(biāo)網(wǎng)絡(luò)·94
6.2.4 DQN 訓(xùn)練：探索策略·94
6.2.5 DQN 訓(xùn)練：經(jīng)驗(yàn)回放·95
6.2.6 DQN 訓(xùn)練：完整算法·95
6.2.7 DQN 決策·96
6.3 策略梯度方法·96
6.3.1 策略網(wǎng)絡(luò)的結(jié)構(gòu)·96
6.3.2 策略網(wǎng)絡(luò)訓(xùn)練：策略梯度·97
6.3.3 策略網(wǎng)絡(luò)訓(xùn)練：優(yōu)勢(shì)函數(shù)·99
6.3.4 PPO 算法·100
6.4 揭秘大語(yǔ)言模型中的強(qiáng)化建模·101
6.4.1 Token-level 強(qiáng)化建模·101
6.4.2 Sentence-level 強(qiáng)化建模·102
6.5 獎(jiǎng)勵(lì)模型·103
6.5.1 獎(jiǎng)勵(lì)模型的結(jié)構(gòu)·103
6.5.2 獎(jiǎng)勵(lì)模型的訓(xùn)練·104
6.5.3 獎(jiǎng)勵(lì)模型損失函數(shù)分析·106
6.6 RLHF·108
6.6.1 即時(shí)獎(jiǎng)勵(lì)·108
6.6.2 RLHF 算法·109
6.7 RLHF 實(shí)戰(zhàn)框架·111
6.8 RLHF 的難點(diǎn)和問題·111
6.8.1 數(shù)據(jù)瓶頸·112
6.8.2 硬件瓶頸·113
6.8.3 方法瓶頸·114
參考文獻(xiàn)·115
7 大語(yǔ)言模型的評(píng)測(cè)·117
7.1 基座語(yǔ)言模型的評(píng)測(cè)·117
7.1.1 主要的評(píng)測(cè)維度和基準(zhǔn)概述·118
7.1.2 具體案例：LLaMA 2 選取的評(píng)測(cè)基準(zhǔn)·118
7.2 大語(yǔ)言模型的對(duì)話能力評(píng)測(cè)·120
7.2.1 評(píng)測(cè)任務(wù)·120
7.2.2 評(píng)測(cè)集的構(gòu)建標(biāo)準(zhǔn)·131
7.2.3 評(píng)測(cè)方式·132
7.3 大語(yǔ)言模型的安全性評(píng)測(cè)·132
7.3.1 評(píng)測(cè)任務(wù)·133
7.3.2 評(píng)測(cè)方式和標(biāo)準(zhǔn)·134
7.4 行業(yè)大語(yǔ)言模型的評(píng)測(cè)：以金融行業(yè)大語(yǔ)言模型為例·134
7.4.1 金融行業(yè)大語(yǔ)言模型的自動(dòng)化評(píng)測(cè)集·135
7.4.2 金融行業(yè)大語(yǔ)言模型的人工評(píng)測(cè)集·136
7.5 整體能力的評(píng)測(cè)·137
7.6 主流評(píng)測(cè)數(shù)據(jù)集及基準(zhǔn)·138
參考文獻(xiàn)·142
8 大語(yǔ)言模型的應(yīng)用·143
8.1 大語(yǔ)言模型為什么需要提示工程·143
8.1.1 人類和大語(yǔ)言模型進(jìn)行復(fù)雜決策的對(duì)比·144
8.1.2 提示工程的作用·144
8.2 什么是提示詞·145
8.2.1 提示詞的基礎(chǔ)要素·146
8.2.2 提示詞設(shè)計(jì)的通用原則·146
8.3 推理引導(dǎo)·147
8.3.1 零樣本提示·147
8.3.2 少樣本提示·148
8.3.3 思維鏈提示·149
8.3.4 自我一致性提示·150
8.3.5 思維樹提示·151
8.4 動(dòng)態(tài)交互·155
8.4.1 檢索增強(qiáng)生成技術(shù)·155
8.4.2 推理和行動(dòng)協(xié)同技術(shù)·159
8.5 案例分析·161
8.5.1 案例介紹·161
8.5.2 工具設(shè)計(jì)·161
8.5.3 提示詞設(shè)計(jì)·165
8.5.4 案例運(yùn)行·167
8.6 局限和發(fā)展·172
8.6.1 目前的局限·172
8.6.2 未來(lái)的發(fā)展·173
參考文獻(xiàn)·173
9 工程實(shí)踐·175
9.1 大語(yǔ)言模型訓(xùn)練面臨的挑戰(zhàn)·175
9.2 大語(yǔ)言模型訓(xùn)練綜述·176
9.2.1 數(shù)據(jù)并行·176
9.2.2 模型并行·179
9.2.3 ZeRO 并行·181
9.3 大語(yǔ)言模型訓(xùn)練技術(shù)選型技巧·184
9.4 大語(yǔ)言模型訓(xùn)練優(yōu)化秘籍·186
9.4.1 I/O 優(yōu)化·186
9.4.2 通信優(yōu)化·187
9.4.3 穩(wěn)定性優(yōu)化·190
9.5 大語(yǔ)言模型訓(xùn)練工程實(shí)踐·190
9.5.1 DeepSpeed 架構(gòu)·191
9.5.2 DeepSpeed 訓(xùn)練詳解·191
9.5.3 DeepSpeed 訓(xùn)練調(diào)優(yōu)實(shí)踐·194
9.6 強(qiáng)化學(xué)習(xí)工程實(shí)踐·196
9.6.1 DeepSpeed-Chat 混合引擎架構(gòu)·196
9.6.2 DeepSpeed-Chat 訓(xùn)練詳解·197
9.6.3 DeepSpeed-Chat 訓(xùn)練調(diào)優(yōu)實(shí)踐·199
9.7 大語(yǔ)言模型推理工程·201
9.7.1 提升規(guī)模：模型量·202
9.7.2 提高并行度：張量并行·205
9.7.3 推理加速：算子優(yōu)化·207
9.7.4 降低計(jì)算量：KV-Cache·208
9.7.5 推理工程綜合實(shí)踐·210
參考文獻(xiàn)·212
10 手把手教你訓(xùn)練 7B 大語(yǔ)言模型·214
10.1 自動(dòng)化訓(xùn)練框架·214
10.1.1 自動(dòng)化訓(xùn)練框架介紹·214
10.1.2 主要模塊介紹·215
10.2 動(dòng)手訓(xùn)練 7B 大語(yǔ)言模型·237
10.2.1 語(yǔ)料預(yù)處理·238
10.2.2 預(yù)訓(xùn)練實(shí)踐·240
10.2.3 指令微調(diào)實(shí)踐·245
10.3 小結(jié)·247