大模型測試技術(shù)與實(shí)踐

第 1 章 AI 系統(tǒng)概述 001
1.1 AI 簡介 001
1.2 AI 系統(tǒng)的分類 003
1.3 機(jī)器學(xué)習(xí)的模型和分類 006
1.4 AIGC 是新趨勢 009
1.5 AI 系統(tǒng)對測試工程師提出的新問題 010
1.5.1 測試徹底變成黑盒測試 010
1.5.2 數(shù)據(jù)集劃分困難 011
1.5.3 測試預(yù)期變得模糊 011
1.5.4 偏見識別要求高 012
1.5.5 多種可能性導(dǎo)致需要重定判斷標(biāo)準(zhǔn) 013
1.6 小結(jié) 014
第 2 章 數(shù)據(jù)和測試評價(jià) 015
2.1 數(shù)據(jù)收集和清洗 015
2.2 數(shù)據(jù)標(biāo)注 018
2.3 數(shù)據(jù)集劃分 021
2.3.1 留出法 023
2.3.2 自助法 023
2.3.3 交叉驗(yàn)證法 024
2.4 依托測試數(shù)據(jù)的測試評價(jià)方法 026
2.5 小結(jié) 029
第 3 章 AI 模型評估 031
3.1 大模型中常用參數(shù)的含義 031
3.2 模型的性能度量 035
3.3 大模型的基準(zhǔn)測試 038
3.3.1 面向自然語言處理能力的基準(zhǔn)測試：GLUE 和 SuperGLUE 038
3.3.2 模型知識獲取能力的基準(zhǔn)測試：MMLU、C-Eval 041
3.3.3 多指標(biāo)綜合基準(zhǔn)測試：HELM 043
002 大模型測試技術(shù)與實(shí)踐
3.4 小結(jié) 044
第 4 章 AI 系統(tǒng)測試的關(guān)鍵技術(shù)和實(shí)踐 045
4.1 功能測試和 AI 系統(tǒng)測試?yán)Ь?045
4.2 蛻變測試 047
4.3 傳統(tǒng)軟件的測試實(shí)踐仍然有效 053
4.3.1 測試用例設(shè)計(jì)方法同樣有效 053
4.3.2 分層測試還會(huì)發(fā)揮作用 058
4.3.3 兼容性測試設(shè)計(jì)方法更加重要 059
4.3.4 性能測試仍然有效 063
4.4 ChatGPT 類應(yīng)用中 SSE 協(xié)議的接口測試 067
4.4.1 SSE 協(xié)議簡介 067
4.4.2 SSE 服務(wù)端代碼 069
4.4.3 SSE 客戶端代碼 070
4.4.4 SSE 接口的測試腳本 072
4.5 LangSmith 幫助測試大模型系統(tǒng)的能力和效果 072
4.6 AI 系統(tǒng)的測試評估方法 078
4.7 小結(jié) 079
4.7.1 代碼自動(dòng)化法 079
4.7.2 人工法 081
4.7.3 模型法 082
第 5 章 AI 道德的驗(yàn)證和實(shí)踐方法 085
5.1　AI 道德 085
5.1.1　歧視 089
5.1.2 偏見 091
5.1.3 道德判斷 095
5.1.4　透明度 097
5.1.5　可信度 100
5.1.6 權(quán)利謀取 101
5.2　AI 道德的好幫手：Model Card 102
5.3　AI 道德的其他驗(yàn)證和實(shí)踐方法 106
5.4　小結(jié) 109
第6章 提示詞工程和軟件測試 111
6.1 提示詞工程 111
6.1.1 提示詞 112
003 目 錄
6.1.2 提示詞的設(shè)計(jì)方法 116
6.2 大模型的思維鏈提示詞系統(tǒng)集成 127
6.2.1 通過思維鏈實(shí)現(xiàn)測試用例設(shè)計(jì)方法中的等價(jià)類劃分法 128
6.2.2 通過思維鏈實(shí)現(xiàn)測試用例設(shè)計(jì)方法中的因果圖法 138
6.3 通過LangChain封裝訊飛星火大模型的調(diào)用類 146
6.4 利用大模型生成數(shù)據(jù) 155
6.5 小結(jié) 157
第7章 智能化測試 159
7.1 智能化測試是發(fā)展的必然 159
7.2 分層測試中的智能化測試 163
7.2.1 開源的智能化單元測試 164
7.2.2 智能化接口測試設(shè)計(jì)思路 165
7.2.3 開源的智能化UI測試 171
7.3 小結(jié) 174
第8章 大模型下的智能化測試 175
8.1 大模型和測試技術(shù) 175
8.2 RAG 176
8.3 Embedding模型 178
8.4 SQLAlchemy實(shí)現(xiàn)數(shù)據(jù)庫的交互 179
8.4.1 使用filter_by()方法 179
8.4.2 使用filter()方法 180
8.4.3 使用join()方法 181
8.4.4 使用distinct()方法 182
8.4.5 使用order_by()方法 182
8.4.6 使用group_by()方法和having子句 182
8.5 通過LlamaIndex實(shí)現(xiàn)大模型SQL語句生成的3種方法詳解 183
8.5.1 查詢引擎 184
8.5.2 查詢時(shí)表提取 186
8.5.3 Retriever 187
8.6 LlamaIndex的NodeParser 188
8.6.1 文檔的NodeParser 189
8.6.2 HTML的NodeParser 190
8.6.3 JSON的NodeParser 190
8.6.4 Markdown的NodeParser 192
004 大模型測試技術(shù)與實(shí)踐
8.6.5 文檔分割 193
8.7 大模型云服務(wù)生成接口測試腳本實(shí)戰(zhàn) 195
8.7.1 大模型云服務(wù)的調(diào)用 195
8.7.2 接口測試腳本生成 201
8.7.3 接口測試的解決方案 207
8.8 本地大模型生成接口測試腳本實(shí)戰(zhàn) 212
8.8.1 Ollama在本地部署大模型 213
8.8.2 Ollama在局域網(wǎng)內(nèi)部署訪問 214
8.8.3 Ollama常用命令 218
8.8.4 本地大模型驅(qū)動(dòng)的接口測試實(shí)踐 219
8.9 基于大模型的Web自動(dòng)化框架LaVague 221
8.10 小結(jié) 223
附錄A 225
附錄B 227
B.1 系統(tǒng)層指標(biāo) 227
B.1.1 CPU指標(biāo) 227
B.1.2 內(nèi)存指標(biāo) 228
B.1.3 磁盤指標(biāo) 229
B.1.4 網(wǎng)絡(luò)指標(biāo) 231
B.2 中間件層指標(biāo) 232
B.2.1 網(wǎng)關(guān) 232
B.2.2 數(shù)據(jù)庫 233
B.2.3 緩存 234
B.2.4 MQ 235
B.2.5 分布式存儲(chǔ)系統(tǒng) 236
B.3 應(yīng)用層指標(biāo) 236
B.3.1 響應(yīng)時(shí)間 236
B.3.2 吞吐量 237
B.3.3 應(yīng)用資源 238
B.3.4 線程池 239
B.3.5 垃圾回收 239
B.3.6 錯(cuò)誤信息 241
B.4 業(yè)務(wù)層指標(biāo) 242
B.5 壓力機(jī)指標(biāo) 242