ELK Stack權(quán)威指南（第2版）

前　言
第一部分　Logstash
第1章　入門(mén)示例 3
1.1　下載安裝 3
1.2　Hello World 4
1.3　配置語(yǔ)法 8
1.3.1　語(yǔ)法 8
1.3.2　命令行參數(shù) 10
1.3.3　設(shè)置文件示例 11
1.4　插件安裝 12
1.5　長(zhǎng)期運(yùn)行方式 13
第2章　插件配置 15
2.1　輸入插件 15
2.1.1　標(biāo)準(zhǔn)輸入 16
2.1.2　文件輸入 17
2.1.3　TCP輸入 18
2.1.4　syslog輸入 19
2.1.5　http_poller抓取 21
2.2　編解碼配置 22
2.2.1　JSON編解碼 23
2.2.2　多行事件編碼 24
2.2.3　網(wǎng)絡(luò)流編碼 26
2.2.4　collectd輸入 27
2.3　過(guò)濾器配置 30
2.3.1　date時(shí)間處理 30
2.3.2　grok正則捕獲 33
2.3.3　dissect解析 35
2.3.4　GeoIP地址查詢(xún) 36
2.3.5　JSON編解碼 38
2.3.6　key-value切分 38
2.3.7　metrics數(shù)值統(tǒng)計(jì) 40
2.3.8　mutate數(shù)據(jù)修改 41
2.3.9　隨心所欲的Ruby處理 45
2.3.10　split拆分事件 47
2.3.11　交叉日志合并 48
2.4　輸出插件 49
2.4.1　輸出到Elasticsearch 49
2.4.2　發(fā)送email 54
2.4.3　調(diào)用系統(tǒng)命令執(zhí)行 54
2.4.4　保存成文件 55
2.4.5　報(bào)警發(fā)送到Nagios 56
2.4.6　statsd 58
2.4.7　標(biāo)準(zhǔn)輸出stdout 61
2.4.8　TCP發(fā)送數(shù)據(jù) 62
2.4.9　輸出到HDFS 62
第3章　場(chǎng)景示例 64
3.1　Nginx訪問(wèn)日志 64
3.1.1　grok處理方式 64
3.1.2　split處理方式 65
3.1.3　JSON格式 68
3.1.4　syslog方式發(fā)送 69
3.2　Nginx錯(cuò)誤日志 69
3.3　Postfix日志 71
3.4　Ossec日志 72
3.4.1　配置所有Ossec agent采用syslog輸出 72
3.4.2　配置Logstash 72
3.4.3　推薦Kibana儀表盤(pán) 73
3.5　Windows系統(tǒng)日志 73
3.5.1　采集端配置 73
3.5.2　接收解析端配置 75
3.6　Java日志 77
3.6.1　Log4J配置 77
3.6.2　Logstash配置 78
3.6.3　異常堆棧測(cè)試驗(yàn)證 78
3.6.4　JSON Event layout 79
3.7　MySQL慢查詢(xún)?nèi)罩?80
3.8　Docker日志 82
3.8.1　記錄到主機(jī)磁盤(pán) 82
3.8.2　通過(guò)logspout收集 83
第4章　性能與監(jiān)控 85
4.1　性能測(cè)試 85
4.1.1　配置示例 85
4.1.2　使用方式 86
4.1.3　額外的話(huà) 87
4.2　監(jiān)控方案 87
4.2.1　logstash-input-heartbeat心跳檢測(cè)方式 88
4.2.2　JMX啟動(dòng)參數(shù)方式 89
4.2.3　API方式 90
第5章　擴(kuò)展方案 94
5.1　通過(guò)Redis隊(duì)列擴(kuò)展 95
5.1.1　讀取Redis數(shù)據(jù) 95
5.1.2　采用list類(lèi)型擴(kuò)展Logstash 96
5.1.3　輸出到Redis 97
5.2　通過(guò)Kafka隊(duì)列擴(kuò)展 98
5.2.1　Kafka基礎(chǔ)概念 99
5.2.2　Input配置 100
5.2.3　Output配置 101
5.2.4　性能 103
5.3　logstash-forwarder 103
5.3.1　Indexer端配置 104
5.3.2　Shipper端配置 104
5.3.3　AIX上的logstash-forwarder-java 106
5.4　Rsyslog 107
5.4.1　常用模塊介紹 107
5.4.2　與Logstash合作 109
5.4.3　Mmexternal模塊 109
5.5　Nxlog 112
5.6　Heka 114
5.7　Fluentd 115
5.7.1　配置示例 115
5.7.2　Fluentd插件 117
5.8　Message::Passing 117
第6章　Logstash源碼解析 119
6.1　Pipeline 120
6.2　Plugins 122
第7章　插件開(kāi)發(fā) 125
7.1　插件格式 125
7.2　插件的關(guān)鍵方法 126
7.3　插件打包 127
7.4　Filter插件開(kāi)發(fā)示例 128
7.4.1　mmdb數(shù)據(jù)庫(kù)的生成方法 129
7.4.2　LogStash::Filters::Mmdb實(shí)現(xiàn) 130
7.4.3　logstash-filter-mmdb打包 131
7.5　Input插件開(kāi)發(fā)示例 132
7.5.1　FileWatch模塊原理 132
7.5.2　LogStash::Inputs::Utmp實(shí)現(xiàn) 133
7.6　Output插件開(kāi)發(fā)示例 136
第8章　Beats 138
8.1　libbeat的通用配置 138
8.1.1　過(guò)濾器配置 138
8.1.2　輸出配置 139
8.1.3　shipper網(wǎng)絡(luò)配置 142
8.1.4　日志配置 142
8.1.5　運(yùn)行配置 142
8.2　Filebeat 142
8.2.1　安裝部署 143
8.2.2　配置 144
8.2.3　生成的可用字段 145
8.3　packetbeat抓包分析 145
8.3.1　安裝部署 146
8.3.2　配置示例 146
8.3.3　dashboard效果 147
8.3.4　Kibana 3拓?fù)鋱D 148
8.4　metricbeat 150
8.4.1　配置示例 152
8.4.2　各模塊輸出指標(biāo)示例 152
8.4.3　采集Docker中的指標(biāo) 164
8.5　winlogbeat 164
第二部分　Elasticsearch
第9章　架構(gòu)原理 169
9.1　準(zhǔn)實(shí)時(shí)索引的實(shí)現(xiàn) 169
9.1.1　動(dòng)態(tài)更新的Lucene索引 169
9.1.2　利用磁盤(pán)緩存實(shí)現(xiàn)的準(zhǔn)實(shí)時(shí)檢索 170
9.1.3　translog提供的磁盤(pán)同步控制 171
9.2　segment merge的影響 172
9.2.1　歸并線(xiàn)程配置 173
9.2.2　歸并策略 174
9.2.3　forcemerge接口 174
9.3　routing和replica的讀寫(xiě)過(guò)程 174
9.3.1　路由計(jì)算 175