123,123,123

內(nèi)容簡(jiǎn)介

　　這是一本需要“動(dòng)手實(shí)踐”的圖書，通過帶領(lǐng)大家從零構(gòu)建一款分布式向量數(shù)據(jù)庫(kù)，讓大家透徹理解向量數(shù)據(jù)庫(kù)的技術(shù)原理和實(shí)現(xiàn)細(xì)節(jié)。本書共分為三大部分，內(nèi)容由淺入深、循序漸進(jìn)。“第一部分認(rèn)識(shí)向量數(shù)據(jù)庫(kù)”（第1～3章）是基礎(chǔ)篇，介紹向量數(shù)據(jù)庫(kù)的基礎(chǔ)知識(shí)，涵蓋向量及數(shù)據(jù)庫(kù)的基本概念、向量數(shù)據(jù)庫(kù)的發(fā)展歷程和核心功能。“第二部分構(gòu)建向量數(shù)據(jù)庫(kù)”（第4～6章）是核心篇，詳細(xì)介紹如何從零開始構(gòu)建并優(yōu)化向量數(shù)據(jù)庫(kù)，巨細(xì)靡遺地展示數(shù)據(jù)庫(kù)內(nèi)核的技術(shù)實(shí)現(xiàn)細(xì)節(jié)并輔以代碼示例、技術(shù)架構(gòu)圖等，旨在讓大家真正實(shí)現(xiàn)動(dòng)手寫向量數(shù)據(jù)庫(kù)。“第三部分向量數(shù)據(jù)庫(kù)的實(shí)踐與展望”（第7～8章）是結(jié)束篇，通過實(shí)踐案例展示向量數(shù)據(jù)庫(kù)在AI應(yīng)用中的使用方法，并嘗試勾勒向量數(shù)據(jù)庫(kù)的未來。本書面向數(shù)據(jù)庫(kù)開發(fā)人員、數(shù)據(jù)庫(kù)管理員、數(shù)據(jù)庫(kù)架構(gòu)師等數(shù)據(jù)庫(kù)從業(yè)人員，AI從業(yè)者，及其他對(duì)向量數(shù)據(jù)庫(kù)感興趣的讀者。

作者簡(jiǎn)介

　　羅云騰訊云數(shù)據(jù)庫(kù)副總經(jīng)理、騰訊云創(chuàng)始團(tuán)隊(duì)成員、中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)大數(shù)據(jù)技術(shù)標(biāo)準(zhǔn)推進(jìn)委員會(huì)（CCSA TC601）數(shù)據(jù)庫(kù)與存儲(chǔ)工作組副組長(zhǎng)。十余年云計(jì)算產(chǎn)品技術(shù)專家，在復(fù)雜分布式系統(tǒng)的建設(shè)和管理上實(shí)踐多年并積累了豐富的經(jīng)驗(yàn)，擅長(zhǎng)將數(shù)據(jù)治理技術(shù)（采集、加工、存儲(chǔ)、檢索）和AI結(jié)合，在AI時(shí)代更好地發(fā)揮數(shù)據(jù)的價(jià)值。領(lǐng)導(dǎo)多個(gè)平臺(tái)或產(chǎn)品完成從0到1的上線與商業(yè)化運(yùn)營(yíng)，達(dá)到國(guó)內(nèi)領(lǐng)先水平，其中包括： 1. 一站式 Serverless開發(fā)平臺(tái)（小程序云開發(fā)） 2. TencentDB for Redis/MongoDB/KeeWiDB、Tencent Cloud VectorDB等數(shù)據(jù)庫(kù)產(chǎn)品 3. 騰訊云數(shù)據(jù)傳輸服務(wù)（DTS）、數(shù)據(jù)庫(kù)智能管家（DBbrain）等多款數(shù)據(jù)采集和智能化應(yīng)用平臺(tái)

圖書目錄

第一部分　認(rèn)識(shí)向量數(shù)據(jù)庫(kù)
第 1章　向量數(shù)據(jù)庫(kù)基礎(chǔ)　2
1.1　向量　2
1.1.1　什么是向量　2
1.1.2　萬物皆可向量　4
1.1.3　向量間的相似度　6
1.1.4　相似度應(yīng)用案例　8
1.2　數(shù)據(jù)庫(kù)　11
1.2.1　什么是數(shù)據(jù)庫(kù)　11
1.2.2　關(guān)系型數(shù)據(jù)庫(kù)　13
1.2.3　非關(guān)系型數(shù)據(jù)庫(kù)　14
1.2.4　傳統(tǒng)數(shù)據(jù)庫(kù)的限制　15
1.3　為什么需要向量數(shù)據(jù)庫(kù)　16
1.3.1　向量數(shù)據(jù)和傳統(tǒng)數(shù)據(jù)的差異　16
1.3.2　向量數(shù)據(jù)庫(kù)應(yīng)運(yùn)而生　17
1.3.3　大模型時(shí)代的智能存儲(chǔ)平臺(tái)　18
1.4　小結(jié)　19
第 2章　向量數(shù)據(jù)庫(kù)極簡(jiǎn)史　21
2.1　孕育期（1980—2012）　21
2.1.1　深度神經(jīng)網(wǎng)絡(luò)的飛速發(fā)展　22
2.1.2　深度神經(jīng)網(wǎng)絡(luò)vs向量數(shù)據(jù)庫(kù)　23
2.2　誕生期（2012—2017）　24
2.3　成長(zhǎng)期（2017年至今）　25
2.3.1　行業(yè)發(fā)展簡(jiǎn)況　26
2.3.2　代表性產(chǎn)品能力對(duì)比　27
2.3.3　代表性產(chǎn)品技術(shù)架構(gòu)　28
2.4　小結(jié)　32
第3章　向量數(shù)據(jù)庫(kù)的核心能力　33
3.1　基礎(chǔ)能力　33
3.1.1　邏輯層次　34
3.1.2　索引　39
3.1.3　關(guān)鍵指標(biāo)　42
3.2　高階能力　43
3.2.1　動(dòng)態(tài)schema　43
3.2.2　別名機(jī)制　44
3.2.3　向量化　45
3.2.4　混合查詢　46
3.3　小結(jié)　47
第二部分　構(gòu)建向量數(shù)據(jù)庫(kù)
第4章　實(shí)現(xiàn)單機(jī)向量數(shù)據(jù)庫(kù)　50
4.1　實(shí)現(xiàn)向量數(shù)據(jù)索引　50
4.1.1　FAISS核心功能　51
4.1.2　實(shí)現(xiàn)扁平索引　56
初始版本v0.0.1　62
4.1.3　HNSWLib核心功能　63
4.1.4　實(shí)現(xiàn)HNSW索引　70
版本迭代v0.0.2　73
4.2　實(shí)現(xiàn)混合數(shù)據(jù)索引　74
4.2.1　實(shí)現(xiàn)標(biāo)量數(shù)據(jù)索引　74
4.2.2　統(tǒng)一管理入口　 76
版本升級(jí)v0.1 　 79
4.2.3　實(shí)現(xiàn)過濾索引　 80
版本迭代v0.1.1　 86
4.3　實(shí)現(xiàn)系統(tǒng)異常恢復(fù)　 87
4.3.1　數(shù)據(jù)日志持久化　 87
版本迭代v0.1.2　 91
4.3.2　數(shù)據(jù)快照持久化　 92
版本升級(jí)v0.2　 97
4.4　小結(jié)　 97
第5 章　實(shí)現(xiàn)分布式向量數(shù)據(jù)庫(kù)　 99
5.1　集群數(shù)據(jù)管理　 100
5.1.1　認(rèn)識(shí)NuRaft　 102
5.1.2　建立主從關(guān)系　 106
5.1.3　實(shí)現(xiàn)數(shù)據(jù)復(fù)制　 110
版本升級(jí)v0.3　 113
5.2　集群流量管理　 113
5.2.1　集群的元數(shù)據(jù)管理　 114
5.2.2　統(tǒng)一的流量入口　 117
5.2.3　讀寫分離　 121
5.2.4　保證讀寫一致性　 122
版本升級(jí)v0.4　 123
5.3　集群異常管理　 123
5.3.1　發(fā)現(xiàn)新主節(jié)點(diǎn)　 123
5.3.2　發(fā)現(xiàn)故障從節(jié)點(diǎn)　 125
5.3.3　實(shí)現(xiàn)故障切換　 127
版本升級(jí)v0.5　 128
5.4　集群的分片　 130
5.4.1　配置集群的分片策略　 130
5.4.2　根據(jù)分片策略轉(zhuǎn)發(fā)請(qǐng)求　 132
版本升級(jí)v0.6　 139
5.5　小結(jié)　 140
第6 章　優(yōu)化向量數(shù)據(jù)庫(kù)　 142
6.1　性能優(yōu)化　 143
6.1.1　利用指令集優(yōu)化向量計(jì)算　 143
6.1.2　優(yōu)化查詢算法　 144
6.1.3　優(yōu)化通信協(xié)議　 147
6.1.4　自定義基準(zhǔn)測(cè)試工具　 149
6.2　成本優(yōu)化　 154
6.2.1　多模塊混合部署　 155
6.2.2　單節(jié)點(diǎn)部署　 158
6.3　易用性優(yōu)化　 160
6.3.1　SDK　 160
6.3.2　訪問鑒權(quán)　 162
6.3.3　數(shù)據(jù)備份　 169
6.4　小結(jié)　 172
第三部分　向量數(shù)據(jù)庫(kù)的實(shí)踐與展望
第7 章　向量數(shù)據(jù)庫(kù)實(shí)踐案例　 176
7.1　搭建圖片查詢系統(tǒng)　 176
7.1.1　圖片向量化　 176
7.1.2　圖片上傳和查詢　 179
7.1.3　系統(tǒng)效果一覽　 181
7.2　搭建個(gè)人知識(shí)庫(kù)　 182
7.2.1　知識(shí)預(yù)處理　 182
7.2.2　知識(shí)向量化　 183
7.2.3　知識(shí)庫(kù)管理　 184
7.2.4　知識(shí)問答　 185
7.2.5　系統(tǒng)效果一覽　 186
7.3　小結(jié)　 187
第8 章　展望　 189
8.1　從行業(yè)演進(jìn)視角看　 190
8.1.1　人類調(diào)度數(shù)據(jù)新范式　 190
8.1.2　向量數(shù)據(jù)抹平數(shù)據(jù)格式差異　 192
8.1.3　向量數(shù)據(jù)庫(kù)平臺(tái)化的關(guān)鍵　 193
8.2　從行業(yè)應(yīng)用視角看　 194
8.2.1　RAG 簡(jiǎn)介　 195
8.2.2　降低RAG 使用門檻　 196
8.3　小結(jié)　 197