智能運(yùn)維：從0搭建大規(guī)模分布式AIOps系統(tǒng)

第1篇 開門見山：運(yùn)維發(fā)展史
第1章 運(yùn)維現(xiàn)狀 2
1.1 運(yùn)維工程 2
1.1.1 認(rèn)識(shí)運(yùn)維 2
1.1.2 主要職責(zé) 4
1.1.3 運(yùn)維技術(shù) 5
1.2 運(yùn)維發(fā)展歷程 6
1.2.1 人工階段 6
1.2.2 工具和自動(dòng)化階段 7
1.2.3 平臺(tái)化階段 7
1.2.4 智能運(yùn)維階段 8
1.3 運(yùn)維現(xiàn)狀 9
1.3.1 故障頻發(fā) 9
1.3.2 系統(tǒng)復(fù)雜性 10
1.3.3 大數(shù)據(jù)環(huán)境 12
1.4 本章小結(jié) 14
1.5 參考文獻(xiàn) 14
第2章 智能運(yùn)維 15
2.1 海量數(shù)據(jù)的存儲(chǔ)、分析和處理 16
2.2 多維度、多數(shù)據(jù)源 18
2.3 信息過(guò)載 19
2.4 復(fù)雜業(yè)務(wù)模型下的故障定位 21
2.5 本章小結(jié) 22
2.6 參考文獻(xiàn) 22
第2篇 站在巨人肩上：智能運(yùn)維基礎(chǔ)設(shè)施
第3章 開源數(shù)據(jù)采集技術(shù) 25
3.1 數(shù)據(jù)采集工具對(duì)比 25
3.2 輕量級(jí)采集工具Filebeat 26
3.2.1 Filebeat工作原理 26
3.2.2 Filebeat的安裝與配置 28
3.2.3 啟動(dòng)和運(yùn)行Filebeat 38
3.3 日志采集解析工具 38
3.3.1 Logstash工作原理 39
3.3.2 安裝Logstash 40
3.3.3 配置Logstash 41
3.3.4 啟動(dòng)Logstash 49
3.4 本章小結(jié) 49
3.5 參考文獻(xiàn) 50
第4章 分布式消息隊(duì)列 51
4.1 開源消息隊(duì)列對(duì)比與分析 51
4.1.1 概述 51
4.1.2 ZeroMQ 51
4.1.3 ActiveMQ 52
4.1.4 RocketMQ 52
4.1.5 Kafka 53
4.2 Kafka的安裝與使用 53
4.2.1 組件概念 53
4.2.2 基本特性 53
4.2.3 安裝與使用 54
4.2.4 Java API的使用 55
4.3 案例分析 57
4.3.1 日志采集 58
4.3.2 實(shí)時(shí)結(jié)算 58
4.3.3 實(shí)時(shí)計(jì)算 58
4.4 本章小結(jié) 58
4.5 參考文獻(xiàn) 59
第5章 大數(shù)據(jù)存儲(chǔ)技術(shù) 60
5.1 傳統(tǒng)數(shù)據(jù)存儲(chǔ) 60
5.1.1 傳統(tǒng)應(yīng)用的架構(gòu) 60
5.1.2 傳統(tǒng)存儲(chǔ)的運(yùn)行機(jī)制 61
5.1.3 傳統(tǒng)存儲(chǔ)帶來(lái)的問題 62
5.2 基于HDFS的分布式存儲(chǔ) 63
5.2.1 分布式存儲(chǔ)的定義 63
5.2.2 HDFS的基本原理 64
5.2.3 HDFS架構(gòu)解析 65
5.2.4 HDFS的優(yōu)勢(shì) 66
5.2.5 HDFS不適合的場(chǎng)景 67
5.3 分層存儲(chǔ) 68
5.3.1 數(shù)據(jù)倉(cāng)庫(kù) 68
5.3.2 數(shù)據(jù)倉(cāng)庫(kù)分層架構(gòu) 70
5.3.3 分層存儲(chǔ)的好處 73
5.4 案例分析 73
5.4.1 數(shù)據(jù)存儲(chǔ)架構(gòu) 73
5.4.2 數(shù)據(jù)倉(cāng)庫(kù)建模 74
5.4.3 常見的存儲(chǔ)問題及解決方案 80
5.5 本章小結(jié) 80
5.6 參考文獻(xiàn) 80
第6章 大規(guī)模數(shù)據(jù)離線計(jì)算分析 82
6.1 經(jīng)典的離線計(jì)算 82
6.1.1 Linux神級(jí)工具sed和awk 82
6.1.2 Python數(shù)據(jù)處理Pandas基礎(chǔ) 84
6.1.3 Python的優(yōu)勢(shì)和不足 88
6.2 分布式離線計(jì)算 89
6.2.1 MapReduce離線計(jì)算 89
6.2.2 離線計(jì)算的數(shù)據(jù)傾斜問題 97
6.2.3 分布式離線計(jì)算的技術(shù)棧 100
6.3 案例分析 101
6.3.1 離線計(jì)算管理 102
6.3.2 離線計(jì)算原子控制 103
6.3.3 離線計(jì)算的數(shù)據(jù)質(zhì)量 103
6.4 本章小結(jié) 104
6.5 參考文獻(xiàn) 105
第7章 實(shí)時(shí)計(jì)算框架 106
7.1 關(guān)于實(shí)時(shí)流計(jì)算 106
7.1.1 如何提高實(shí)時(shí)流計(jì)算的實(shí)時(shí)性 106
7.1.2 如何提高實(shí)時(shí)流計(jì)算結(jié)果的準(zhǔn)確性 107
7.1.3 如何提高實(shí)時(shí)流計(jì)算結(jié)果的響應(yīng)速度 107
7.2 Spark Streaming計(jì)算框架介紹 107
7.2.1 概述 107
7.2.2 基本概念 108
7.2.3 運(yùn)行原理 108
7.2.4 編程模型 109
7.2.5 Spark Streaming的使用 110
7.2.6 優(yōu)化運(yùn)行時(shí)間 114
7.3 Flink計(jì)算框架 115
7.3.1 基本概念 116
7.3.2 Flink特點(diǎn) 116
7.3.3 運(yùn)行原理 118
7.3.4 Java API的使用 121
7.4 案例分析 124
7.4.1 背景介紹 125
7.4.2 架構(gòu)設(shè)計(jì) 126
7.4.3 效果分析 126
7.5 本章小結(jié) 126
7.6 參考文獻(xiàn) 126
第8章 時(shí)序數(shù)據(jù)分析框架 127
8.1 時(shí)序數(shù)據(jù)庫(kù)簡(jiǎn)介 127
8.1.1 什么是時(shí)序數(shù)據(jù)庫(kù) 127
8.1.2 時(shí)序數(shù)據(jù)庫(kù)的特點(diǎn) 128
8.1.3 時(shí)序數(shù)據(jù)庫(kù)的對(duì)比 130
8.2 時(shí)序數(shù)據(jù)庫(kù)Graphite 131
8.2.1 Graphite簡(jiǎn)介 131
8.2.2 Graphite在微博廣告監(jiān)控系統(tǒng)中的應(yīng)用 137
8.3 多維分析利器Druid 139
8.3.1 什么是Druid 139
8.3.2 Druid架構(gòu) 140
8.3.3 Druid在微博廣告監(jiān)控平臺(tái)中的應(yīng)用 144
8.4 性能神器ClickHouse 147
8.4.1 什么是ClickHouse 147
8.4.2 ClickHouse的特性 148
8.4.3 ClickHouse的不足 149
8.4.4 安裝配置ClickHouse 149
8.4.5 表引擎 153
8.4.6 函數(shù)支持 157
8.5 本章小結(jié) 160
8.6 參考文獻(xiàn) 160
第9章 機(jī)器學(xué)習(xí)框架 161
9.1 簡(jiǎn)介 161
9.2 TensorFlow介紹 162
9.2.1 什么是TensorFlow 162
9.2.2 下載安裝 162
9.2.3 “Hello TensorFlow”示例 166
9.3 TensorFlow進(jìn)階 166
9.3.1 基礎(chǔ)理論 167
9.3.2 模型準(zhǔn)備 169
9.3.3 訓(xùn)練數(shù)據(jù) 169
9.3.4 模型訓(xùn)練 171
9.3.5 生成seq2seq句子 174
9.3.6 運(yùn)行演示 175
9.4 本章小結(jié) 178
9.5 參考文獻(xiàn) 179
第3篇 運(yùn)維新時(shí)代：智能運(yùn)維技術(shù)詳解
第10章 數(shù)據(jù)聚合與關(guān)聯(lián)技術(shù) 182
10.1 數(shù)據(jù)聚合 182
10.1.1 聚合運(yùn)算 183
10.1.2 多維度聚合 186
10.2 降低維度 188
10.2.1 將告警聚合成關(guān)聯(lián)“事件” 189
10.2.2 減少誤報(bào)：告警分類 190
10.3 數(shù)據(jù)關(guān)聯(lián) 192
10.4 實(shí)時(shí)數(shù)據(jù)關(guān)聯(lián)案例 193
10.4.1 設(shè)計(jì)方案 193
10.4.2 效果 195
10.5 本章小結(jié) 195
10.6 參考文獻(xiàn) 195
第11章 數(shù)據(jù)異常點(diǎn)檢測(cè)技術(shù) 196
11.1 概述 196
11.2 異常檢測(cè)方法 198
11.2.1 基于統(tǒng)計(jì)模型的異常點(diǎn)檢測(cè) 199
11.2.2 基于鄰近度的異常點(diǎn)檢測(cè) 202
11.2.3 基于密度的異常點(diǎn)檢測(cè) 203
11.3 獨(dú)立森林 204
11.4 本章小結(jié) 207
11.5 參考文獻(xiàn) 207
第12章 故障診斷和分析策略 208
12.1 日志標(biāo)準(zhǔn)化 209
12.2 全鏈路追蹤 210
12.3 SLA的統(tǒng)一 210
12.4 傳統(tǒng)的故障定位方法 211
12.4.1 監(jiān)控告警型 211
12.4.2 日志分析型 212
12.5 人工智能在故障定位領(lǐng)域的應(yīng)用 213
12.5.1 基于關(guān)聯(lián)規(guī)則的相關(guān)性分析 213
12.5.2 基于決策樹的故障診斷 217
12.6 本章小結(jié) 222
12.7 參考文獻(xiàn) 222
第13章 趨勢(shì)預(yù)測(cè)算法 223
13.1 移動(dòng)平均法 223
13.2 指數(shù)平滑法 224
13.3 ARIMA模型 226
13.3.1 簡(jiǎn)介 226
13.3.2 重要概念 226
13.3.3 參數(shù)解釋 228
13.3.4 建模步驟 230
13.3.5 ARIMA模型案例 232
13.4 神經(jīng)網(wǎng)絡(luò)模型 236
13.4.1 卷積神經(jīng)網(wǎng)絡(luò) 236
13.4.2 循環(huán)神經(jīng)網(wǎng)絡(luò) 238
13.4.3 長(zhǎng)短期記憶網(wǎng)絡(luò) 239
13.4.4 應(yīng)用說(shuō)明 241
13.5 本章小結(jié) 241
13.6 參考文獻(xiàn) 242
第4篇 智能運(yùn)維架構(gòu)實(shí)踐：技術(shù)案例詳解
第14章 快速構(gòu)建日志監(jiān)控系統(tǒng) 244
14.1 Elasticsearch分布式搜索引擎 244
14.1.1 基本概念 244
14.1.2 分布式文檔存儲(chǔ)與讀取 248
14.1.3 分布式文檔檢索 250
14.1.4 分片管理 252
14.1.5 路由策略 254
14.1.6 映射 255
14.2 可視化工具Kibana 258
14.2.1 Management 260
14.2.2 Discover 260
14.2.3 Visualize 262
14.2.4 Dashboard 263
14.2.5 Timelion 263
14.2.6 Dev Tools 264
14.3 ELK搭建實(shí)踐 265
14.3.1 Logstash安裝配置 265
14.3.2 Elasticsearch集群安裝配置 266
14.3.3 Kibana安裝配置 273
14.4 本章小結(jié) 274
14.5 參考文獻(xiàn) 274
第15章 微博廣告智能監(jiān)控系統(tǒng) 275
15.1 背景介紹 275
15.1.1 監(jiān)控指標(biāo)體系 275
15.1.2 功能設(shè)計(jì)原則 276
15.2 整體架構(gòu) 277
15.3 核心功能分析 278
15.3.1 全景監(jiān)控 278
15.3.2 趨勢(shì)預(yù)測(cè) 281
15.3.3 動(dòng)態(tài)閾值 285
15.3.4 服務(wù)治理 285
15.4 本章小結(jié) 287
第16章 微博平臺(tái)通用監(jiān)控系統(tǒng) 288
16.1 背景 289
16.2 整體架構(gòu) 290
16.3 核心模塊 291
16.3.1 數(shù)據(jù)采集（Logtailer） 291
16.3.2 數(shù)據(jù)路由（Statsd-proxy） 293
16.3.3 聚合運(yùn)算（Statsd） 294
16.3.4 數(shù)據(jù)分發(fā)（C-Relay）和數(shù)據(jù)存儲(chǔ) 294
16.3.5 告警模塊 295
16.3.6 API設(shè)計(jì) 299
16.3.7 數(shù)據(jù)可視化 300
16.4 第三方應(yīng)用 301
16.4.1 決策支持系統(tǒng) 301
16.4.2 運(yùn)維自動(dòng)化 302
16.4.3 成本分析和容量日?qǐng)?bào) 302
16.4.4 機(jī)器學(xué)習(xí) 302
16.5 本章小節(jié) 302
附錄A 中國(guó)大數(shù)據(jù)技術(shù)大會(huì)2017（BDTC 2017）CSDN專訪實(shí)錄 303