實時數(shù)據(jù)處理技術

定　價：￥39.50

作　者：	卜令瑞，陳永，孫志敏著
出版社：	高等教育出版社
叢編項：
標　簽：	暫缺

購買這本書可以去

ISBN：	9787040560800	出版時間：	2022-05-01	包裝：	平裝
開本：		頁數(shù)：	212	字數(shù)：

內(nèi)容簡介

　　本書是國家職業(yè)教育大數(shù)據(jù)技術專業(yè)教學資源庫配套教材。本書主要介紹Spark分布式計算框架的應用，重點是流式模塊Spark Streaming在實際項目中的應用，并通過一個實戰(zhàn)項目來輔助讀者學習實時數(shù)據(jù)處理場景。全書共分為6章，主要內(nèi)容包括緒論、Scala語言應用、Spark Streaming、Spark SQL、數(shù)據(jù)整合和Spark優(yōu)化。本書配有微課視頻、授課用PPT、教學設計、課程標準、案例源碼等豐富的數(shù)字化學習資源。與本書配套的數(shù)字課程“實時數(shù)據(jù)處理技術”已在“智慧職教”網(wǎng)站（www.icve.com.cn）上線，學習者可以登錄網(wǎng)站進行在線學習及資源下載，授課教師可以調用本課程構建符合自身教學特色的SPOC課程，詳見“智慧職教”服務指南。教師也可發(fā)郵件至編輯郵箱1548103297@qq.com獲取相關資源。本書內(nèi)容翔實、理實一體，既可作為高職高專院校大數(shù)據(jù)技術專業(yè)的數(shù)據(jù)處理課程教材，也可作為從事大數(shù)據(jù)相關工作的技術人員的入門參考書。

作者簡介

暫缺《實時數(shù)據(jù)處理技術》作者簡介

圖書目錄

第1章緒論
1．1 實時數(shù)據(jù)處理
1．1．1 大數(shù)據(jù)中的實時業(yè)務場景
1．1．2 大數(shù)據(jù)實時數(shù)據(jù)處理解決方案
1．1．3 大數(shù)據(jù)實時數(shù)據(jù)處理技術框架
1．2 Spark實時數(shù)據(jù)處理
1．2．1 Spark技術簡介
1．2．2 Spark技術的發(fā)展歷程
1．2．3 Spark技術模塊
1．2．4 Spark技術流式處理模塊SparkStreaming
1．3 本章小結
第2章 Scala語言應用
2．1 從-個項目開始
2．2 需求分析
2．3 Scala安裝及使用
2．3．1 Scala語言簡介
2．3．2 Scala的安裝與環(huán)境配置
2．3．3 Scala開發(fā)工具的安裝與配置
2．4 Scala語言基礎
2．4．1 數(shù)據(jù)類型
2．4．2 常量與變量的定義
2．4．3 流程控制
2．5 Scala方法與函數(shù)
2．5．1 遞歸方法
2．5．2 有默認值方法
2．5．3 可變長參數(shù)方法
2．5．4 匿名函數(shù)
2．5．5 嵌套方法
2．5．6 偏應用表達式
2．5．7 高階函數(shù)
2．5．8 Scala函數(shù)案例
2．6 Scala集合
2．6．1 數(shù)組
2．6．2 liSt
2．6．3 Set
2．6．4 map
2．6．5 tuple
2．6．6 Scala集合案例
2．7 本章小結
第3章 SparkStreaming
3．1 SparkStreaming初始化
3．1．1 SparkStreaming簡介
3．1．2 SparkStreaming的特點
3．1．3 SparkStreaming讀取數(shù)據(jù)原理
3．2 SparkStreaming處理數(shù)據(jù)案例
3．2．1 啟動LinuxSocket服務
3．2．2 生產(chǎn)數(shù)據(jù)
3．2．3 SparkStreaming讀取Socket數(shù)據(jù)
3．2．4 注意事項
3．3 SparkStreaming算子簡介
3．4 Transformations類算子
3．4．1 updateStateByKey算子案例
3．4．2 transform算子案例
3．4．3 reduceByKeyAndWindow算子案例
3．5 OutputOperator類算子
3．5．1 SparkStreaming監(jiān)控目錄數(shù)據(jù)案例
3．5．2 print算子案例
3．5．3 saveAsTextFile算子案例
3．6 本章小結
第4章 SparkSQL
4．1 SparkSQL概述
4．1．1 SparkSQL演變過程
4．1．2 SparkSQL數(shù)據(jù)類型
4．2 SparkSQL數(shù)據(jù)源
4．2．1 JSON數(shù)據(jù)源及案例
4．2．2 DataSet數(shù)據(jù)源及案例
4．2．3 RDD數(shù)據(jù)源及案例
4．2．4 Parquet數(shù)據(jù)源及案例
4．2．5 MySQL數(shù)據(jù)源及案例
4．3 SparkonHive配置
4．3．1 HiVeOnSpark
4．3．2 SparkonHive
4．3．3 安裝和配置Hive
4．3．4 SparkonHive配置
4．3．5 SparkShell驗證
4．3．6 SparkonHive速度測試案例
4．3．7 SparkonHive案例分析
4．4 本章小結
第5章數(shù)據(jù)整合
5．1 Flume與Kafka的整合使用
5．1．1 Flume日志采集系統(tǒng)
5．1．2 Flume采集數(shù)據(jù)案例
5．1．3 Kafka分布式消息系統(tǒng)
5．1．4 Flume與Kafka整合配置
5．2 SparkStreaming與Kafka整合
5．2．1 Spark與Kafka版本
5．2．2 SparkStreaming與Kafka整合
5．2．3 參數(shù)設置
5．2．4 管理消費者offset方式
5．3 項目實戰(zhàn)
5．3．1 Flume配置文件
5．3．2 創(chuàng)建MySQL數(shù)據(jù)庫表
5．3．3 編寫業(yè)務核心代碼
5．3．4 任務提交
5．3．5 查看結果
5．4 本章小結
第6章 Spark優(yōu)化
6．1 資源調優(yōu)
6．1．1 資源調優(yōu)簡介
6．1．2 資源調優(yōu)方式
6．1．3 資源調優(yōu)案例
6．2 增加并行度
6．2．1 增加并行度簡介
6．2．2 增加并行度方式
6．2．3 增加并行度案例
6．3 代碼調優(yōu)
6．3．1 代碼調優(yōu)簡介
6．3．2 代碼調優(yōu)方式
6．3．3 代碼調優(yōu)案例
6．4 數(shù)據(jù)傾斜的處理
6．4．1 數(shù)據(jù)傾斜簡介
6．4．2 處理數(shù)據(jù)傾斜的方式
6．4．3 數(shù)據(jù)傾斜案例
6．5 本章小結
參考文獻