大數(shù)據(jù)開發(fā)實戰(zhàn)

前言
環(huán)境搭建視頻教程二維碼清單
第1章大數(shù)據(jù)簡介
1.1大數(shù)據(jù)的概述
1.2大數(shù)據(jù)的特點
1.3大數(shù)據(jù)的應(yīng)用領(lǐng)域
1.4目前企業(yè)應(yīng)用的主流大數(shù)據(jù)技術(shù)
1.5大數(shù)據(jù)開發(fā)流程
第2章大數(shù)據(jù)基礎(chǔ)架構(gòu)Hadoop
2.1Hadoop簡介
2.2Hadoop架構(gòu)詳解
2.2.1分布式存儲系統(tǒng)HDFS
2.2.2分布式資源管理框架YARN
2.2.3離線計算框架MapReduce
2.3HDFS讀、寫文件流程
2.3.1HDFS寫文件流程
2.3.2HDFS讀文件流程
2.4HDFS的實戰(zhàn)操作
2.4.1HDFS上傳文件
2.4.2HDFS創(chuàng)建文件
2.4.3HDFS創(chuàng)建目錄
2.4.4HDFS重命名文件
2.4.5HDFS刪除文件
2.5YARN原理
2.6YARN調(diào)度器詳解
2.7MapReduce工作原理
2.8MapReduce核心的原理Shuffle
2.8.1Map端
2.8.2Reduce端
2.9MapReduce常用三大組件
2.9.1MapReduce中的Partitioner
2.9.2MapReduce中的Sort
2.9.3MapReduce中的Combiner
2.10MapReduce項目實戰(zhàn)
2.10.1清洗日志
2.10.2統(tǒng)計電影最高評分
第3章分布式協(xié)調(diào)服務(wù)Zookeeper
3.1ZooKeeper簡介
3.2ZooKeeper結(jié)構(gòu)和工作原理
3.2.1ZooKeeper集群角色
3.2.2ZooKeeper的數(shù)據(jù)結(jié)構(gòu)
3.2.3ZooKeeper的工作流程
3.2.4ZooKeeper的監(jiān)聽器
3.3ZooKeeper實戰(zhàn)
3.3.1ZooKeeper創(chuàng)建持久節(jié)點
3.3.2ZooKeeper創(chuàng)建臨時節(jié)點
3.3.3ZooKeeper遞歸創(chuàng)建節(jié)點
3.3.4ZooKeeper讀取數(shù)據(jù)
3.3.5ZooKeeper更新數(shù)據(jù)
3.3.6ZooKeeper監(jiān)聽節(jié)點
3.3.7ZooKeeper監(jiān)聽子節(jié)點
3.3.8ZooKeeper實現(xiàn)服務(wù)注冊與發(fā)現(xiàn)
第4章數(shù)據(jù)倉庫Hive
4.1Hive簡介和特點
4.2Hive結(jié)構(gòu)和原理
4.2.1Hive結(jié)構(gòu)
4.2.2Hive運行的流程
4.2.3Hive的HQL轉(zhuǎn)換過程
4.3電商用戶行為分析
4.3.1項目背景及目的
4.3.2數(shù)據(jù)導(dǎo)入
4.3.3數(shù)據(jù)清洗
4.3.4數(shù)據(jù)分析
第5章面向列的數(shù)據(jù)庫HBase
5.1HBase簡介
5.2HBase架構(gòu)
5.2.1HBase的組件
5.2.2HBase工作機制
5.3HBase數(shù)據(jù)模型
5.4HBase讀寫流程
5.4.1HBase寫操作流程
5.4.2HBase讀操作流程
5.5HBase的API示例
5.5.1HBase創(chuàng)建表
5.5.2HBase保持數(shù)據(jù)
5.5.3HBase更新數(shù)據(jù)
5.5.4HBase獲取數(shù)據(jù)
5.5.5HBase刪除數(shù)據(jù)
5.5.6使用HBase獲取某一行數(shù)據(jù)
5.6HBase存儲訂單案例
第6章大數(shù)據(jù)開發(fā)實戰(zhàn)數(shù)據(jù)遷移工具Sqoop
6.1Sqoop架構(gòu)和工作原理
6.1.1Sqoop導(dǎo)入原理
6.1.2Sqoop導(dǎo)出原理
6.2Sqoop將HDFS數(shù)據(jù)導(dǎo)入MySQL
6.3Sqoop將MySQL數(shù)據(jù)導(dǎo)入HDFS
第7章數(shù)據(jù)采集工具Flume
7.1Flume簡介
7.2Flume構(gòu)成和工作原理
7.2.1Flume構(gòu)成
7.2.2Flume工作原理
7.3Flume實戰(zhàn)
7.3.1Flume監(jiān)聽目錄實戰(zhàn)
7.3.2Flume一對多實戰(zhàn)
7.3.3Flume攔截器實戰(zhàn)
7.3.4Flume采集數(shù)據(jù)到HDFS
7.3.5Kafka對接Flume實戰(zhàn)
第8章發(fā)布訂閱消息系統(tǒng)Kafka
8.1Kafka 簡介
8.2Kafka的消息生產(chǎn)者
8.2.1Kafka生產(chǎn)者的運行流程
8.2.2Kafka生產(chǎn)者分區(qū)
8.2.3副本的同步復(fù)制和異步復(fù)制
8.2.4Kafka消息發(fā)送確認機制
8.3Kafka的Broker保存消息
8.3.1存儲方式與策略
8.3.2Topic創(chuàng)建與刪除
8.4Kafka的消息消費者
8.4.1消費機制
8.4.2消費者組
8.5Kafka 的存儲機制
8.5.1Kafka主題Topic
8.5.2Kafka分片Partition
8.5.3Kafka日志Segment File
8.6Kafka 實戰(zhàn)
8.6.1Kafka發(fā)送消息
8.6.2Kafka自定義分區(qū)發(fā)送消息
8.6.3Spring Boot整合Kafka發(fā)送消息
第9章數(shù)據(jù)處理分析引擎Spark
9.1Spark 簡介
9.2Spark 運行原理
9.2.1Spark的基本概念
9.2.2Spark運行的原理
9.2.3Driver運行在Client
9.2.4Driver運行在Worker節(jié)點
9.3Spark算子RDD
9.3.1RDD的屬性
9.3.2RDD的依賴關(guān)系
9.3.3RDD的shuffle過程
9.3.4RDD的緩存和檢查機制
9.4Spark SQL
9.4.1Spark SQL概念
9.4.2Spark SQL的架構(gòu)
9.4.3DataSets和DataFrames
9.4.4Spark SQL示例
9.5Spark Streaming
9.5.1Spark Streaming介紹/9.5.2DStream轉(zhuǎn)換操作
9.5.3Spark Streaming窗口操作
9.5.4DStream輸入
9.5.5DStream 輸出
9.5.6DSFrame和SQL操作
9.5.7Spark Streaming檢查點
9.6Spark Streaming接收Flume數(shù)據(jù)實戰(zhàn)
9.7Spark Streaming接收Kafka數(shù)據(jù)實戰(zhàn)
第10章全文搜索引擎Elasticsearch
10.1Elasticsearch簡介
10.2Elasticsearch架構(gòu)和原理
10.2.1Elasticsearch核心概念
10.2.2Elasticsearch工作原理
10.2.3Elasticsearch倒排索引
10.3Elasticsearch實戰(zhàn)
10.3.1Elasticsearch索引創(chuàng)建
10.3.2Elasticsearch索引更新
10.3.3Elasticsearch索引查詢
10.3.4Elasticsearch索引刪除
10.3.5Elasticsearch保存文檔
10.3.6Elasticsearch更新文檔
10.3.7Elasticsearch精確查詢
10.3.8Elasticsearch模糊查詢
10.3.9Elasticsearch范圍查詢
10.3.10Elasticsearch布爾查詢
10.3.11Elasticsearch聚合查詢
10.3.12Elasticsearch高亮查詢
10.4Elasticsearch實現(xiàn)搜索系統(tǒng)
10.4.1搜索系統(tǒng)項目環(huán)境準備
10.4.2Elasticsearch實現(xiàn)搜索功能
第11章分布式處理引擎Flink
11.1Flink 概述
11.2Flink基本組件和運行時架構(gòu)
11.2.1Flink運行時架構(gòu)
11.2.2Flink的分層
11.3Flink流處理流程
11.3.1Flink環(huán)境設(shè)置(Environment)
11.3.2Flink源算子(Source)
11.3.3Flink支持的數(shù)據(jù)類型
11.3.4