基于云計(jì)算的數(shù)據(jù)科學(xué)

目錄
前言 1
第 1 章 用數(shù)據(jù)做出更好的決策 9
許多相似的決策 11
數(shù)據(jù)工程師的角色 12
云計(jì)算讓數(shù)據(jù)工程師成為可能 14
云計(jì)算使數(shù)據(jù)科學(xué)能力得到倍增 18
用案例研究揭示難解的真相 20
基于概率的決策 21
數(shù)據(jù)和工具 27
代碼入門 28
本章總結(jié) 30
第 2 章 將數(shù)據(jù)攝取到云端 31
航空公司準(zhǔn)點(diǎn)數(shù)據(jù) 31
可知性 33
訓(xùn)練 – 服務(wù)偏差 34
下載程序 35
數(shù)據(jù)集屬性36
為什么不就地存儲(chǔ)數(shù)據(jù)？ 38
向上擴(kuò)展 40
水平擴(kuò)展 42
使用 Colossus 和 Jupiter 讓數(shù)據(jù)存放在原位 44
攝取數(shù)據(jù) 47
對(duì) Web 表單進(jìn)行反向工程 48
下載數(shù)據(jù)集51
數(shù)據(jù)探索和清理 53
將數(shù)據(jù)上傳到 Google 云端存儲(chǔ) 55
每月下載計(jì)劃 58
使用 Python 攝取數(shù)據(jù) 61
Flask Web App 68
在 App Engine 上運(yùn)行 69
確保 URL 的安全 70
計(jì)劃 Cron 任務(wù) 70
本章總結(jié) 73
代碼實(shí)驗(yàn) 74
第 3 章 創(chuàng)建引人注目的儀表板 76
使用數(shù)據(jù)儀表板對(duì)模型進(jìn)行解釋 77
為什么要先構(gòu)建數(shù)據(jù)儀表板？ 79
準(zhǔn)確、忠實(shí)于數(shù)據(jù)且良好的設(shè)計(jì) 80
將數(shù)據(jù)加載到 Google Cloud SQL 83
創(chuàng)建 Google Cloud SQL 實(shí)例 83
與 Google 云計(jì)算平臺(tái)交互84
控制對(duì) MySQL 的訪問 86
創(chuàng)建表 87
向表中填充數(shù)據(jù) 89
建立第一個(gè)模型 90
應(yīng)急表 91
閾值優(yōu)化 92
機(jī)器學(xué)習(xí) 93
構(gòu)建數(shù)據(jù)儀表板 94
Data Studio 入門 94
創(chuàng)建圖表 96
為最終用戶添加控件 98
用餅圖顯示所占比例 100
解釋應(yīng)急表105
本章總結(jié) 107
第 4 章 流數(shù)據(jù)：發(fā)布和攝取 109
設(shè)計(jì)事件饋送 109
時(shí)間校正 112
Apache Beam/Cloud Dataflow 113
解析機(jī)場數(shù)據(jù) 115
添加時(shí)區(qū)信息 116
將時(shí)間轉(zhuǎn)換為 UTC 117
修正日期 120
創(chuàng)建事件 121
在云中運(yùn)行數(shù)據(jù)管道 122
將事件流發(fā)布到 Cloud Pub/Sub 126
獲取要發(fā)布的數(shù)據(jù)記錄 129
對(duì)數(shù)據(jù)記錄進(jìn)行分頁 130
構(gòu)建事件集合 130
發(fā)布事件集合 131
實(shí)時(shí)流式處理 132
Java Dataflow 中的流式數(shù)據(jù) 133
執(zhí)行流數(shù)據(jù)處理 138
使用 BigQuery 分析流式數(shù)據(jù) 140
實(shí)時(shí)數(shù)據(jù)儀表板 141
本章總結(jié) 144
第 5 章 交互式數(shù)據(jù)探索 145
探索性數(shù)據(jù)分析 146
將航班數(shù)據(jù)加載到 BigQuery 中 148
無服務(wù)器列式數(shù)據(jù)庫的優(yōu)點(diǎn) 148
訪問控制 151
聯(lián)合查詢 156
攝取 CSV 文件 158
Cloud Datalab 中的探索性數(shù)據(jù)分析 164
Jupyter 筆記本 165
Cloud Datalab 166
在 Cloud Datalab 中安裝軟件包 169
適用于 Google 云計(jì)算平臺(tái)的 Jupyter 魔術(shù)命令 170
質(zhì)量控制 176
反常的數(shù)值176
清除異常數(shù)據(jù)：大數(shù)據(jù)是不同的 178
不同出發(fā)延誤條件下的抵達(dá)延誤 182
概率決策閾值的應(yīng)用 184
經(jīng)驗(yàn)概率分布函數(shù) 185
答案 187
評(píng)估模型 188
隨機(jī)亂序分組 188
按日期分割189
訓(xùn)練和測試191
本章總結(jié) 196
第 6 章 Cloud Dataproc上的 貝葉斯分類器 197
MapReduce 和 Hadoop 生態(tài)系統(tǒng) 197
MapReduce 的工作原理 198
Apache Hadoop 200
Google Cloud Dataproc200
需要更高級(jí)的工具 202
關(guān)注任務(wù)，而不是集群 204
初始化操作205
使用 Spark SQL 進(jìn)行量化 206
Cloud Dataproc 上的 Google Cloud Datalab 208
使用 BigQuery 進(jìn)行獨(dú)立檢查 209
Google Cloud Datalab 中的 Spark SQL 211
直方圖均衡化 215
動(dòng)態(tài)調(diào)整群集大小 219
使用 Pig 實(shí)現(xiàn)貝葉斯分類 222
在 Cloud Dataproc 上運(yùn)行 Pig 任務(wù) 224
將日期限制在訓(xùn)練數(shù)據(jù)集中 225
決策標(biāo)準(zhǔn) 226
對(duì)貝葉斯模型進(jìn)行評(píng)估 229
本章總結(jié) 231
第 7 章 機(jī)器學(xué)習(xí)：Spark上的邏輯回歸 233
邏輯回歸 234
Spark 機(jī)器學(xué)習(xí)庫 237
開始使用 Spark 機(jī)器學(xué)習(xí) 238
Spark 邏輯回歸 239
創(chuàng)建訓(xùn)練數(shù)據(jù)集 241
處理邊界情況 243
創(chuàng)建訓(xùn)練示例 245
訓(xùn)練 246
使用模型進(jìn)行預(yù)測 249
對(duì)模型進(jìn)行評(píng)估 250
特征工程 253
實(shí)驗(yàn)框架 254
創(chuàng)建保留數(shù)據(jù)集 257
特性點(diǎn)的選擇 258
特征點(diǎn)的縮放和剪切 261
特征轉(zhuǎn)換 263
變量分類 267
可擴(kuò)展、可重復(fù)和實(shí)時(shí)性 269
本章總結(jié) 270
第 8 章 時(shí)間窗化的聚合特征 272
平均時(shí)間的需求 272
Java 中的 Dataflow 274
建立開發(fā)環(huán)境 275
使用 Beam 過濾數(shù)據(jù) 276
數(shù)據(jù)管道的控制選項(xiàng)和文本 I/O 280
在云端運(yùn)行281
解析為對(duì)象283
計(jì)算平均時(shí)間 286
分組及合并286
并行執(zhí)行和側(cè)面輸入 289
調(diào)試 291
BigQueryIO 292
對(duì)航班對(duì)象進(jìn)行轉(zhuǎn)換 294
批處理模式下的滑動(dòng)窗口計(jì)算 295
在云端運(yùn)行297
監(jiān)控、故障排除和性能調(diào)整 299
數(shù)據(jù)管道的故障排除 301
側(cè)面輸入的限制 302
重新設(shè)計(jì)數(shù)據(jù)管道 305
刪除重復(fù)項(xiàng)307
本章總結(jié) 310
第 9 章 使用TensorFlow的 機(jī)器學(xué)習(xí)分類器 312
使用更復(fù)雜的模型 313
將數(shù)據(jù)讀入 TensorFlow 317
建立實(shí)驗(yàn) 322
線性分類器323
訓(xùn)練和評(píng)估的輸入函數(shù) 325
服務(wù)輸入函數(shù) 326
創(chuàng)建實(shí)驗(yàn) 326
執(zhí)行訓(xùn)練 327
云中的分布式訓(xùn)練 329
對(duì) ML 模型進(jìn)行改進(jìn) 331
深度神經(jīng)網(wǎng)絡(luò)模型 332
嵌入 335
寬深模型 337
超參數(shù)調(diào)整341
部署模型 349
使用模型預(yù)測 350
對(duì)該模型的解釋 351
本章總結(jié) 353
第 10章 實(shí)時(shí)機(jī)器學(xué)習(xí) 355
調(diào)用預(yù)測服務(wù) 356
用于服務(wù)請求和響應(yīng)的 Java 類357
發(fā)送請求并解析響應(yīng) 359
預(yù)測服務(wù)的客戶端 360
將預(yù)測結(jié)果添加到航班信息 361
批量輸入和輸出 361
數(shù)據(jù)處理管道 363
識(shí)別無效的服務(wù)響應(yīng) 364
批量處理服務(wù)請求 365
流式數(shù)據(jù)管道 367
扁平化 PCollections 368
執(zhí)行流式數(shù)據(jù)管道 369
延遲的和無序的數(shù)據(jù)記錄 371
水印和觸發(fā)器 376
事務(wù)，吞吐量和延遲 378
幾種可選的流式接收器 379
Cloud Bigtable 380
設(shè)計(jì)表 382
設(shè)計(jì)行鍵 383
流式傳輸至 Cloud Bigtable 384
查詢 Cloud Bigtable 中的數(shù)據(jù) 386
評(píng)估模型的性能 387
持續(xù)訓(xùn)練的必要性 388
評(píng)估管道 389
性能評(píng)估 391
邊際分布 391
檢查模型的行為 393
識(shí)別行為變化 396
本章總結(jié) 398
全書總結(jié) 398
附錄 有關(guān)機(jī)器學(xué)習(xí)數(shù)據(jù)集中敏感數(shù)據(jù)的注意事項(xiàng) 401