時序大數(shù)據(jù)平臺TDengine核心原理與實戰(zhàn)

第 一部分 基礎(chǔ)知識
第 1章 時序數(shù)據(jù) 1
1.1 什么是時序數(shù)據(jù) 1
1.2 時序數(shù)據(jù)的十大特征 2
1.3 時序數(shù)據(jù)的典型應(yīng)用場景 3
1.4 處理時序數(shù)據(jù)所需要的核心模塊 5
1.5 專用時序數(shù)據(jù)處理工具的必要性 6
1.6 選擇時序數(shù)據(jù)處理工具的標(biāo)準(zhǔn) 8
第 2章 TDengine入門 10
2.1 TDengine產(chǎn)品 10
2.2 TDengine主要功能與特性 11
2.3 TDengine與典型時序數(shù)據(jù)庫的區(qū)別 12
2.4 TDengine安裝和啟動 13
2.4.1 在Linux操作系統(tǒng)中安裝和啟動 14
2.4.2 Docker方式安裝和啟動 15
2.4.3 故障排查 16
2.5 TDengine云服務(wù) 16
2.5.1 新用戶注冊 16
2.5.2 創(chuàng)建實例 17
2.6 通過taosBenchmark體驗寫入速度 17
2.7 通過TDengine CLI體驗查詢速度 18
第3章 TDengine數(shù)據(jù)模型 19
3.1 基本概念 20
3.1.1 采集量 20
3.1.2 標(biāo)簽 20
3.1.3 數(shù)據(jù)采集點 20
3.1.4 表 21
3.1.5 超級表 21
3.1.6 子表 22
3.1.7 庫 22
3.1.8 時間戳 23
3.2 數(shù)據(jù)建模 24
3.2.1 創(chuàng)建數(shù)據(jù)庫 24
3.2.2 創(chuàng)建超級表 25
3.2.3 創(chuàng)建表 25
3.2.4 自動建表 26
3.2.5 創(chuàng)建普通表 26
3.2.6 多列模型與單列模型 27
第4章 TDengine數(shù)據(jù)寫入 29
4.1 寫入 29
4.1.1 一次寫入一條 29
4.1.2 一次寫入多條 30
4.1.3 一次寫入多表 30
4.1.4 指定列寫入 30
4.1.5 寫入記錄時自動建表 30
4.1.6 通過超級表寫入 31
4.1.7 零代碼方式寫入 31
4.2 更新 32
4.3 刪除 32
第5章 TDengine數(shù)據(jù)查詢 33
5.1 基本查詢 33
5.2 聚合查詢 34
5.3 數(shù)據(jù)切分查詢 36
5.4 窗口切分查詢 36
5.4.1 時間戳偽列 38
5.4.2 時間窗口 38
5.4.3 狀態(tài)窗口 43
5.4.4 會話窗口 44
5.4.5 事件窗口 46
5.4.6 計數(shù)窗口 47
5.5 時序數(shù)據(jù)特有函數(shù) 48
5.6 嵌套查詢 49
5.7 union子句 50
5.8 關(guān)聯(lián)查詢 50
5.8.1 Join概念 50
5.8.2 語法說明 52
5.8.3 Join功能 52
5.8.4 約束和限制 53
第6章 TDengine高級功能 55
6.1 數(shù)據(jù)訂閱 55
6.1.1 主題類型 56
6.1.2 刪除主題 57
6.1.3 查看主題 58
6.1.4 創(chuàng)建消費者 58
6.1.5 查看消費者 58
6.1.6 刪除消費組 58
6.1.7 查看訂閱信息 58
6.1.8 訂閱數(shù)據(jù) 58
6.1.9 回放功能 59
6.2 數(shù)據(jù)緩存 59
6.2.1 寫緩存 60
6.2.2 讀緩存 60
6.2.3 元數(shù)據(jù)緩存 61
6.2.4 文件系統(tǒng)緩存 61
6.2.5 實時數(shù)據(jù)查詢的緩存實踐 62
6.3 流計算 63
6.3.1 創(chuàng)建流計算 63
6.3.2 流計算的分區(qū) 65
6.3.3 流計算讀取歷史數(shù)據(jù) 66
6.3.4 流計算的觸發(fā)模式 67
6.3.5 流計算的窗口關(guān)閉 67
6.3.6 流計算對于過期數(shù)據(jù)的處理策略 68
6.3.7 流計算對于修改數(shù)據(jù)的處理策略 68
6.3.8 流計算的其他策略 69
6.3.9 流計算的相關(guān)操作 70
6.4 邊云協(xié)同 71
6.4.1 為什么需要邊云協(xié)同 71
6.4.2 TDengine的邊云協(xié)同解決方案 71
6.4.3 邊云協(xié)同的優(yōu)勢 73
6.5 零代碼數(shù)據(jù)源接入 73
6.5.1 支持的數(shù)據(jù)源 73
6.5.2 數(shù)據(jù)提取、過濾和轉(zhuǎn)換 74
6.5.3 任務(wù)的創(chuàng)建 75
6.5.4 任務(wù)管理 76
第二部分 運維管理
第7章 集群安裝部署 77
7.1 組件介紹 77
7.1.1 taosd 78
7.1.2 taosc 78
7.1.3 taosAdapter 79
7.1.4 taosKeeper 79
7.1.5 taosExplorer 80
7.1.6 taosX 80
7.1.7 taosX Agent 80
7.1.8 應(yīng)用程序或第三方工具 81
7.2 資源規(guī)劃 81
7.2.1 服務(wù)器內(nèi)存需求 82
7.2.2 客戶端內(nèi)存需求 83
7.2.3 CPU需求 84
7.2.4 存儲需求 84
7.2.5 多級存儲 85
7.2.6 網(wǎng)絡(luò)帶寬需求 86
7.2.7 物理機(jī)或虛擬機(jī)臺數(shù) 87
7.2.8 TDengine網(wǎng)絡(luò)端口要求 87
7.3 手動部署 88
7.3.1 安裝與配置 88
7.3.2 部署taosd 90
7.3.3 部署taosAdapter 96
7.3.4 部署taosKeeper 98
7.3.5 部署taosX 98
7.3.6 部署taosX Agent 99
7.3.7 部署taosExplorer 100
7.4 Docker部署 101
7.4.1 啟動TDengine 101
7.4.2 在host網(wǎng)絡(luò)模式下啟動TDengine 102
7.4.3 以指定的hostname和port啟動TDengine 102
7.5 Kubernetes部署與Helm部署 103
第8章 圖形化管理工具 104
8.1 集群運行監(jiān)控 104
8.1.1 taosKeeper的安裝與配置 104
8.1.2 基于TDinsight的監(jiān)控 105
8.2 可視化管理 107
8.2.1 登錄 107
8.2.2 運行監(jiān)控面板 107
8.2.3數(shù)據(jù)寫入 107
8.2.4 數(shù)據(jù)瀏覽器 108
8.2.5 編程 108
8.2.6 流計算 108
8.2.7 數(shù)據(jù)訂閱 108
8.2.8 工具 108
8.2.9 數(shù)據(jù)管理 108
第9章 數(shù)據(jù)安全 109
9.1 用戶管理 109
9.1.1 創(chuàng)建用戶 109
9.1.2 查看用戶 110
9.1.3 修改用戶信息 110
9.1.4 刪除用戶 110
9.2 權(quán)限管理 110
9.2.1 資源管理 111
9.2.2 授權(quán) 111
9.2.3 查看授權(quán) 115
9.2.4 撤銷授權(quán) 115
9.3 數(shù)據(jù)備份、恢復(fù)、容錯和災(zāi)備 116
9.3.1 基于taosdump進(jìn)行數(shù)據(jù)備份恢復(fù) 116
9.3.2 基于TDengine Enterprise進(jìn)行數(shù)據(jù)備份恢復(fù) 117
9.3.3 容錯 117
9.3.4 數(shù)據(jù)災(zāi)備 118
9.4 更多的安全策略 118
9.4.1 IP白名單 119
9.4.2 審計日志 119
9.4.3 數(shù)據(jù)加密 120
第三部分 應(yīng)用開發(fā)
第 10章 SQL執(zhí)行 122
10.1 連接器 122
10.1.1 建立連接的方式 123
10.1.2 Java連接器簡介 124
10.1.3 Java連接器的JDBC和JRE兼容性 124
10.1.4 安裝Java連接器 124
10.1.5 TDengine數(shù)據(jù)類型和Java數(shù)據(jù)類型的轉(zhuǎn)換關(guān)系 124
10.2 建立連接 125
10.2.1 指定URL以獲取連接 125
10.2.2 指定URL和Properties以獲取連接 127
10.2.3 配置參數(shù)的優(yōu)先級 128
10.3 執(zhí)行SQL 128
10.3.1 創(chuàng)建數(shù)據(jù)庫和表 128
10.3.2 寫入數(shù)據(jù) 129
10.3.3 查詢數(shù)據(jù) 129
10.3.4 執(zhí)行帶有reqId的SQL 130
10.3.5 通過參數(shù)綁定方式高效寫入數(shù)據(jù) 130
第 11章 無模式寫入 133
11.1 無模式寫入行協(xié)議 133
11.2 時間分辨率識別 136
11.3數(shù)據(jù)模式映射規(guī)則 136
11.4 數(shù)據(jù)模式變更處理 137
11.5 Java連接器無模式寫入樣例 137
11.6 查詢寫入的數(shù)據(jù) 138
第 12章 訂閱數(shù)據(jù) 140
12.1 創(chuàng)建主題 140
12.2 創(chuàng)建消費者 141
12.3 訂閱消費數(shù)據(jù) 141
12.4 指定訂閱offset 142
12.5 提交offset 143
12.6 取消訂閱和關(guān)閉消費 143
第 13章 自定義函數(shù) 144
13.1 自定義函數(shù)簡介 144
13.2 用C語言開發(fā)UDF 144
13.2.1 接口定義 144
13.2.2 標(biāo)量函數(shù)接口 144
13.2.3 聚合函數(shù)接口 145
13.2.4 初始化和銷毀接口 145
13.2.5 標(biāo)量函數(shù)模板 146
13.2.6 聚合函數(shù)模板 146
13.2.7 編譯 147
13.3 用Python語言開發(fā)UDF 147
13.3.1 準(zhǔn)備環(huán)境 147
13.3.2 接口定義 147
13.3.3 標(biāo)量函數(shù)接口 147
13.3.4 聚合函數(shù)接口 148
13.3.5 初始化和銷毀接口 148
13.3.6 標(biāo)量函數(shù)模板 148
13.3.7 聚合函數(shù)模板 149
13.3.8 數(shù)據(jù)類型映射 149
13.4 管理UDF 150
13.4.1 創(chuàng)建UDF 150
13.4.2 刪除UDF 151
13.4.3 查看UDF 151
第 14章 與第三方工具集成 152
14.1 Grafana 152
14.1.1 前置條件 152
14.1.2 安裝TDengine Datasource插件 153
14.1.3 創(chuàng)建Dashboard 153
14.2 Looker Studio 155
14.2.1 獲取 156
14.2.2 使用 156
14.3 Power BI 157
14.3.1 前置條件 157
14.3.2 安裝ODBC驅(qū)動 157
14.3.3 配置ODBC數(shù)據(jù)源 157
14.3.4 導(dǎo)入TDengine數(shù)據(jù)到Power BI 158
14.3.5 智能電表樣例 159
14.4 永洪BI 160
14.4.1 安裝永洪BI 160
14.4.2 安裝JDBC驅(qū)動 160
14.4.3 配置JDBC數(shù)據(jù)源 160
14.4.4 創(chuàng)建TDengine數(shù)據(jù)集 161
14.4.5 制作可視化報告 162
第四部分 技術(shù)內(nèi)幕
第 15章 整體架構(gòu) 163
15.1 集群與基本邏輯單元 163
15.1.1 主要邏輯單元 164
15.1.2 節(jié)點之間的通信 167
15.1.3 一個典型的消息流程 170
15.2 存儲模型與數(shù)據(jù)分片、數(shù)據(jù)分區(qū) 171
15.2.1 存儲模型 171
15.2.2 數(shù)據(jù)分片 172
15.2.3 數(shù)據(jù)分區(qū) 173
15.2.4 負(fù)載均衡與擴(kuò)容 174
15.3 數(shù)據(jù)寫入與復(fù)制流程 174
15.3.1 leader vnode寫入流程 174
15.3.2 follower vnode寫入流程 175
15.3.3 主從選擇 176
15.3.4 同步復(fù)制 176
15.3.5 成員變更 176
15.3.6 重定向 177
15.4 緩存與持久化 177
15.4.1 時序數(shù)據(jù)緩存 177
15.4.2 持久化存儲 178
15.4.3 預(yù)計算 179
15.4.4 多級存儲與對象存儲 179
第 16章 存儲引擎 181
16.1 行列格式 181
16.1.1 行格式 181
16.1.2 列格式 182
16.2 vnode存儲 183
16.2.1 vnode存儲架構(gòu) 183
16.2.2 元數(shù)據(jù)的存儲 184
16.2.3 時序數(shù)據(jù)的存儲 186
16.3 數(shù)據(jù)壓縮 189
16.3.1 存儲壓縮 189
16.3.2 傳輸壓縮 191
16.3.3 壓縮流程 191
第 17章 查詢引擎 193
17.1 各模塊在查詢計算中的職責(zé) 193
17.1.1 taosc 193
17.1.2 mnode 193
17.1.3 vnode 194
17.1.4 執(zhí)行器 194
17.1.5 UDF Daemon 194
17.2 查詢策略 195
17.3 SQL說明 195
17.4 查詢流程 196
17.5 多表聚合查詢流程 196
17.6 查詢緩存 198
17.6.1 緩存的數(shù)據(jù)類型 198
17.6.2 緩存方案 198
第 18章 數(shù)據(jù)訂閱 200
18.1 基本概念 200
18.1.1 主題 200
18.1.2 生產(chǎn)者 201
18.1.3 消費者 201
18.2 數(shù)據(jù)訂閱架構(gòu) 203
18.3 再平衡過程 204
18.4 消費者狀態(tài)處理 205
18.5 消費數(shù)據(jù) 206
第 19章 流計算引擎 208
19.1 相關(guān)概念 209
19.1.1 有狀態(tài)的流計算 209
19.1.2 預(yù)寫日志 209
19.1.3 事件驅(qū)動執(zhí)行 210
19.1.4 時間 210
19.1.5 時間窗口聚合 210
19.1.6 亂序處理 211
19.2 流計算任務(wù) 211
19.2.1 source task 212
19.2.2 agg task 212
19.2.3 sink task 212
19.3 流計算節(jié)點 213
19.4 狀態(tài)與容錯處理 213
19.4.1 檢查點 213
19.4.2 狀態(tài)存儲后端 214
19.5 內(nèi)存管理 214
19.6 流量控制 214
19.7 反壓機(jī)制 215
第五部分 實踐案例
第 20章 車聯(lián)網(wǎng) 216
20.1 車聯(lián)網(wǎng)面臨的挑戰(zhàn) 216
20.2 TDengine在車聯(lián)網(wǎng)中的核心價值 217
20.3 TDengine在車聯(lián)網(wǎng)中的應(yīng)用 218
20.3.1 TSP車聯(lián)網(wǎng) 218
20.3.2 物流車聯(lián)網(wǎng) 220
第 21章 新能源 222
21.1 新能源面臨的挑戰(zhàn) 222
21.2 TDengine在新能源中的核心價值 223
21.3 TDengine在新能源中的應(yīng)用 224
21.3.1 營銷側(cè)分布式光伏電站運行數(shù)據(jù)接入 224
21.3.2 數(shù)據(jù)即時分發(fā)至各地市 225
21.3.3 分類聚合計算瞬時發(fā)電功率 226
21.3.4 實時數(shù)據(jù)監(jiān)測 227
21.3.5 智慧運維系統(tǒng) 227
第 22章 智慧油田 228
22.1 智慧油田面臨的挑戰(zhàn) 228
22.2 TDengine在智慧油田中的應(yīng)用 229
第 23章 智能制造 233
23.1 智能制造面臨的挑戰(zhàn) 233
23.2 TDengine在智能制造中的核心價值 234
23.3 TDengine在智能制造中的應(yīng)用 235
第 24章 金融 239
24.1 處理金融時序數(shù)據(jù)時面臨的挑戰(zhàn) 239
24.2 TDengine在金融中的核心價值 240
24.3 TDengine在金融中的應(yīng)用 240
24.3.1 量化交易 240
24.3.2 行情中心 242