用戶畫像：平臺(tái)構(gòu)建與業(yè)務(wù)實(shí)踐

目　　錄
前　言
第1章　了解畫像平臺(tái)　1
1.1　畫像基本概念　1
1.1.1　什么是畫像　1
1.1.2　畫像的重要性　2
1.1.3　畫像平臺(tái)定位　3
1.2　OLAP介紹　3
1.2.1　OLAP與OLTP對(duì)比　3
1.2.2　OLAP場(chǎng)景關(guān)鍵特征　4
1.2.3　OLAP的3種建模類型　5
1.2.4　OLAP相關(guān)技術(shù)發(fā)展歷程　5
1.3　業(yè)界畫像平臺(tái)介紹　6
1.3.1　神策數(shù)據(jù)　7
1.3.2　火山引擎增長分析　10
1.3.3　GrowingIO　13
1.3.4　阿里云智能用戶增長　16
1.4　畫像平臺(tái)涉及的崗位　18
1.4.1　數(shù)據(jù)工程師　18
1.4.2　算法工程師　18
1.4.3　研發(fā)工程師　18
1.4.4　產(chǎn)品經(jīng)理　19
1.4.5　運(yùn)營人員　19
1.5　本章小結(jié)　19
第2章　畫像平臺(tái)功能與架構(gòu)　20
2.1　畫像平臺(tái)主要功能　20
2.1.1　標(biāo)簽管理　20
2.1.2　標(biāo)簽服務(wù)　24
2.1.3　分群功能　25
2.1.4　畫像分析　28
2.2　畫像平臺(tái)技術(shù)架構(gòu)　32
2.2.1　畫像平臺(tái)常見的技術(shù)架構(gòu)　32
2.2.2　畫像平臺(tái)技術(shù)選型示例　33
2.2.3　業(yè)界畫像功能技術(shù)選型　35
2.3　畫像平臺(tái)的3種數(shù)據(jù)模型　36
2.4　本章小結(jié)　38
第3章　標(biāo)簽管理　40
3.1　標(biāo)簽管理整體架構(gòu)　40
3.2　標(biāo)簽分類　43
3.2.1　標(biāo)簽實(shí)體及ID類型　43
3.2.2　標(biāo)簽分類方式　44
3.3　標(biāo)簽管理功能實(shí)現(xiàn)　48
3.3.1　標(biāo)簽存儲(chǔ)　48
3.3.2　標(biāo)簽生產(chǎn)　55
3.3.3　標(biāo)簽數(shù)據(jù)監(jiān)控　67
3.3.4　工程實(shí)現(xiàn)　69
3.4　崗位分工介紹　70
3.5　本章小結(jié)　72
第4章　標(biāo)簽服務(wù)　73
4.1　標(biāo)簽服務(wù)整體架構(gòu)　73
4.2　標(biāo)簽查詢服務(wù)　74
4.2.1　標(biāo)簽查詢服務(wù)介紹　74
4.2.2　標(biāo)簽數(shù)據(jù)灌入緩存　76
4.2.3　標(biāo)簽數(shù)據(jù)結(jié)構(gòu)　79
4.2.4　標(biāo)簽數(shù)據(jù)處理　81
4.2.5　工程實(shí)現(xiàn)　83
4.3　標(biāo)簽元數(shù)據(jù)查詢服務(wù)　85
4.3.1　標(biāo)簽元數(shù)據(jù)查詢服務(wù)介紹　85
4.3.2　工程實(shí)現(xiàn)　87
4.4　標(biāo)簽實(shí)時(shí)預(yù)測(cè)服務(wù)　89
4.4.1　標(biāo)簽實(shí)時(shí)預(yù)測(cè)服務(wù)介紹　89
4.4.2　工程實(shí)現(xiàn)　90
4.5　ID-Mapping　93
4.6　崗位分工介紹　97
4.7　本章小結(jié)　98
第5章　分群功能　99
5.1　分群功能整體架構(gòu)　99
5.2　基礎(chǔ)數(shù)據(jù)準(zhǔn)備　101
5.2.1　畫像寬表　101
5.2.2　畫像BitMap　108
5.3　人群創(chuàng)建方式　111
5.3.1　規(guī)則圈選　112
5.3.2　導(dǎo)入人群　119
5.3.3　組合人群　121
5.3.4　行為明細(xì)　123
5.3.5　人群Lookalike　125
5.3.6　挖掘人群　126
5.3.7　LBS人群　127
5.3.8　其他人群圈選　128
5.3.9　工程實(shí)現(xiàn)　131
5.4　人群數(shù)據(jù)對(duì)外輸出　137
5.5　人群附加功能　138
5.5.1　人群預(yù)估　138
5.5.2　人群拆分　140
5.5.3　人群自動(dòng)更新　141
5.5.4　人群下載　142
5.5.5　ID轉(zhuǎn)換　143
5.6　人群判存服務(wù)　144
5.6.1　Redis方案　144
5.6.2　BitMap方案　147
5.6.3　基于規(guī)則的判存　149
5.7　崗位分工介紹　150
5.8　本章小結(jié)　152
第6章　畫像分析　153
6.1　畫像分析整體架構(gòu)　153
6.2　人群畫像分析　155
6.2.1　人群分布分析　155
6.2.2　人群指標(biāo)分析　156
6.2.3　人群下鉆分析　157
6.2.4　人群交叉分析　158
6.2.5　人群對(duì)比分析　158
6.2.6　工程實(shí)現(xiàn)　159
6.3　人群即席分析　165
6.3.1　分布分析與指標(biāo)分析　166
6.3.2　下鉆分析與交叉分析　167
6.3.3　人群畫像預(yù)覽　168
6.4　行為明細(xì)分析　169
6.4.1　明細(xì)統(tǒng)計(jì)　171
6.4.2　用戶分析　173
6.4.3　流程轉(zhuǎn)化　176
6.4.4　價(jià)值分析　179
6.4.5　工程實(shí)現(xiàn)　181
6.5　單用戶分析　183
6.5.1　用戶畫像查詢　184
6.5.2　用戶關(guān)系數(shù)據(jù)分析　185
6.5.3　用戶漲掉粉分析　190
6.5.4　用戶內(nèi)容流量分析　192
6.6　其他常見分析　193
6.6.1　業(yè)務(wù)分析看板　193
6.6.2　地域分析　195
6.6.3　人群投放分析　197
6.7　崗位分工介紹　199
6.8　本章小結(jié)　200
第7章　從0到1構(gòu)建畫像平臺(tái)　201
7.1　基礎(chǔ)準(zhǔn)備　201
7.1.1　技術(shù)組件協(xié)作關(guān)系　201
7.1.2　基礎(chǔ)環(huán)境準(zhǔn)備　203
7.2　大數(shù)據(jù)環(huán)境搭建　206
7.2.1　Hadoop　207
7.2.2　Spark　210
7.2.3　Hive　212
7.2.4　ZooKeeper　215
7.2.5　DolphinScheduler　216
7.2.6　Flink　217
7.3　存儲(chǔ)引擎安裝　219
7.3.1　ClickHouse　219
7.3.2　Redis　221
7.3.3　MySQL　222
7.4　工程框架搭建　223
7.4.1　服務(wù)端工程搭建　223
7.4.2　前端工程搭建　237
7.5　運(yùn)行開源代碼　238
7.6　本章小結(jié)　240
第8章　畫像平臺(tái)應(yīng)用與業(yè)務(wù)實(shí)踐　241
8.1　畫像平臺(tái)常見應(yīng)用案