Llama大模型實(shí)踐指南

第1章　大模型的基礎(chǔ)理論
1.1　大模型的發(fā)展歷史
1.1.1　從語言模型到預(yù)訓(xùn)練大模型
1.1.2　預(yù)訓(xùn)練大模型的發(fā)展
1.1.3　大模型的進(jìn)化
1.2　大模型的核心框架
1.2.1　Transformer
1.2.2　位置編碼
1.2.3　多頭自注意力機(jī)制
1.3　數(shù)據(jù)收集和數(shù)據(jù)處理
1.3.1　數(shù)據(jù)收集
1.3.2　數(shù)據(jù)處理
1.4　大模型的預(yù)訓(xùn)練及微調(diào)
1.4.1　無監(jiān)督預(yù)訓(xùn)練
1.4.2　指令微調(diào)
1.4.3　基于人類反饋微調(diào)
1.5　大模型的評測
1.5.1　評測任務(wù)
1.5.2　評測數(shù)據(jù)集
1.5.3　評測方法
1.5.4　評測中的挑戰(zhàn)
第2章　部署Llama 2大模型
2.1　部署前的準(zhǔn)備
2.1.1　硬件準(zhǔn)備
2.1.2　環(huán)境準(zhǔn)備
2.2　模型的導(dǎo)入與加載
2.2.1　下載代碼
2.2.2　下載模型
2.3　模型部署
2.3.1　API部署
2.3.2　text-generation-webui 部署
2.3.3　使用text-generation-webui
第3章　微調(diào)Llama 2大模型
3.1　微調(diào)的數(shù)據(jù)集準(zhǔn)備和標(biāo)注
3.1.1　數(shù)據(jù)集準(zhǔn)備
3.1.2　數(shù)據(jù)集標(biāo)注
3.2　Llama 2大模型加載
3.3　微調(diào)策略設(shè)計(jì)及模型重新訓(xùn)練
3.3.1　微調(diào)策略設(shè)計(jì)
3.3.2　模型參數(shù)高效微調(diào)
3.4　模型評估、測試和模型優(yōu)化
3.4.1　模型評估、測試
3.4.2　模型優(yōu)化
3.5　模型保存、模型部署和推理加速
3.5.1　模型保存
3.5.2　模型部署
3.5.3　推理加速
第4章　解決Llama 2大模型多輪對話難題
4.1　定制多輪對話數(shù)據(jù)集和構(gòu)造方法
4.1.1　準(zhǔn)備微調(diào)訓(xùn)練數(shù)據(jù)的7個(gè)原則
4.1.2　定制微調(diào)訓(xùn)練數(shù)據(jù)集
4.1.3　多輪對話的3個(gè)場景
4.2　實(shí)操構(gòu)造多輪對話微調(diào)訓(xùn)練數(shù)據(jù)集
4.3　通過多輪對話存儲解決信息流失問題
4.3.1　拼接歷史與當(dāng)前輸入
4.3.2　上下文向量
4.3.3　對話狀態(tài)追蹤
4.3.4　狀態(tài)壓縮
4.3.5　增量學(xué)習(xí)和在線學(xué)習(xí)
4.4　提高大模型多輪對話應(yīng)對能力
4.4.1　針對性的數(shù)據(jù)集與微調(diào)
4.4.2　實(shí)時(shí)反饋與自適應(yīng)
4.4.3　強(qiáng)化學(xué)習(xí)優(yōu)化
4.4.4　上下文感知與個(gè)性化
4.4.5　多模態(tài)與多任務(wù)學(xué)習(xí)
4.4.6　錯(cuò)誤處理與恢復(fù)策略
4.5　模型評估與持續(xù)改進(jìn)
4.5.1　微調(diào)Llama 2大模型評估
4.5.2　持續(xù)改進(jìn)
4.6　適合Llama 2大模型多輪對話的prompt構(gòu)建
第5章　基于Llama 2定制行業(yè)大模型
5.1　業(yè)務(wù)數(shù)據(jù)分析指導(dǎo)行業(yè)大模型定制
5.1.1　行業(yè)大模型的定制策略
5.1.2　模型性能的評估
5.2　行業(yè)數(shù)據(jù)的獲取與預(yù)處理
5.2.1　數(shù)據(jù)獲取
5.2.2　數(shù)據(jù)預(yù)處理
5.3　Llama 2大模型導(dǎo)入初始化
5.4　微調(diào)獲得行業(yè)特定大模型
5.4.1　領(lǐng)域預(yù)訓(xùn)練
5.4.2　微調(diào)策略
5.5　模型測試、評估和優(yōu)化
第6章　Llama 2 + LangChain文檔問答模型構(gòu)建
6.1　LangChain介紹
6.2　LangChain的主要概念與示例
6.2.1　模型
6.2.2　提示
6.2.3　輸出解析器
6.2.4　索引
6.2.5　內(nèi)存
6.2.6　鏈
6.2.7　代理
6.2.8　工具
6.3　LangChain 環(huán)境配置
6.3.1　Python環(huán)境搭建
6.3.2　LangChain主要模塊
6.4　Llama 2+LangChain文檔問答模型評估
6.4.1　設(shè)置虛擬環(huán)境和創(chuàng)建文件結(jié)構(gòu)
6.4.2　Llama 2和LangChain的交互流程
6.4.3　具體案例
第7章　多語言大模型技術(shù)介紹及其工業(yè)應(yīng)用
7.1　多語言大模型的研究現(xiàn)狀和技術(shù)方向
7.1.1　為什么進(jìn)行多語言研究
7.1.2　多語言在NLP社區(qū)的發(fā)展
7.1.3　多語言模型技術(shù)方向
7.2　多語言大模型的預(yù)訓(xùn)練資源和評測任務(wù)
7.2.1　多語言大模型的預(yù)訓(xùn)練資源介紹
7.2.2　評測任務(wù)介紹
7.3　多語言大模型的優(yōu)化方向
7.3.1　數(shù)據(jù)預(yù)處理流程
7.3.2　Tokenizer
7.3.3　訓(xùn)練數(shù)據(jù)格式和采樣策略
7.3.4　多語言大模型的訓(xùn)練任務(wù)
7.3.5　多語言大模型的優(yōu)化方向總結(jié)（以Llama 2為例）
7.4　多語言大模型的工業(yè)應(yīng)用
7.4.1　智能客服
7.4.2　搜索引擎
7.4.3　機(jī)器翻譯