大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)

前言
環(huán)境搭建視頻教程二維碼清單
第1章大數(shù)據(jù)簡介
1.1大數(shù)據(jù)的概述
1.2大數(shù)據(jù)的特點(diǎn)
1.3大數(shù)據(jù)的應(yīng)用領(lǐng)域
1.4目前企業(yè)應(yīng)用的主流大數(shù)據(jù)技術(shù)
1.5大數(shù)據(jù)開發(fā)流程
第2章大數(shù)據(jù)基礎(chǔ)架構(gòu)Hadoop
2.1Hadoop簡介
2.2Hadoop架構(gòu)詳解
2.2.1分布式存儲(chǔ)系統(tǒng)HDFS
2.2.2分布式資源管理框架YARN
2.2.3離線計(jì)算框架MapReduce
2.3HDFS讀、寫文件流程
2.3.1HDFS寫文件流程
2.3.2HDFS讀文件流程
2.4HDFS的實(shí)戰(zhàn)操作
2.4.1HDFS上傳文件
2.4.2HDFS創(chuàng)建文件
2.4.3HDFS創(chuàng)建目錄
2.4.4HDFS重命名文件
2.4.5HDFS刪除文件
2.5YARN原理
2.6YARN調(diào)度器詳解
2.7MapReduce工作原理
2.8MapReduce核心的原理Shuffle
2.8.1Map端
2.8.2Reduce端
2.9MapReduce常用三大組件
2.9.1MapReduce中的Partitioner
2.9.2MapReduce中的Sort
2.9.3MapReduce中的Combiner
2.10MapReduce項(xiàng)目實(shí)戰(zhàn)
2.10.1清洗日志
2.10.2統(tǒng)計(jì)電影最高評分
第3章分布式協(xié)調(diào)服務(wù)Zookeeper
3.1ZooKeeper簡介
3.2ZooKeeper結(jié)構(gòu)和工作原理
3.2.1ZooKeeper集群角色
3.2.2ZooKeeper的數(shù)據(jù)結(jié)構(gòu)
3.2.3ZooKeeper的工作流程
3.2.4ZooKeeper的監(jiān)聽器
3.3ZooKeeper實(shí)戰(zhàn)
3.3.1ZooKeeper創(chuàng)建持久節(jié)點(diǎn)
3.3.2ZooKeeper創(chuàng)建臨時(shí)節(jié)點(diǎn)
3.3.3ZooKeeper遞歸創(chuàng)建節(jié)點(diǎn)
3.3.4ZooKeeper讀取數(shù)據(jù)
3.3.5ZooKeeper更新數(shù)據(jù)
3.3.6ZooKeeper監(jiān)聽節(jié)點(diǎn)
3.3.7ZooKeeper監(jiān)聽子節(jié)點(diǎn)
3.3.8ZooKeeper實(shí)現(xiàn)服務(wù)注冊與發(fā)現(xiàn)
第4章數(shù)據(jù)倉庫Hive
4.1Hive簡介和特點(diǎn)
4.2Hive結(jié)構(gòu)和原理
4.2.1Hive結(jié)構(gòu)
4.2.2Hive運(yùn)行的流程
4.2.3Hive的HQL轉(zhuǎn)換過程
4.3電商用戶行為分析
4.3.1項(xiàng)目背景及目的
4.3.2數(shù)據(jù)導(dǎo)入
4.3.3數(shù)據(jù)清洗
4.3.4數(shù)據(jù)分析
第5章面向列的數(shù)據(jù)庫HBase
5.1HBase簡介
5.2HBase架構(gòu)
5.2.1HBase的組件
5.2.2HBase工作機(jī)制
5.3HBase數(shù)據(jù)模型
5.4HBase讀寫流程
5.4.1HBase寫操作流程
5.4.2HBase讀操作流程
5.5HBase的API示例
5.5.1HBase創(chuàng)建表
5.5.2HBase保持?jǐn)?shù)據(jù)
5.5.3HBase更新數(shù)據(jù)
5.5.4HBase獲取數(shù)據(jù)
5.5.5HBase刪除數(shù)據(jù)
5.5.6使用HBase獲取某一行數(shù)據(jù)
5.6HBase存儲(chǔ)訂單案例
第6章大數(shù)據(jù)開發(fā)實(shí)戰(zhàn)數(shù)據(jù)遷移工具Sqoop
6.1Sqoop架構(gòu)和工作原理
6.1.1Sqoop導(dǎo)入原理
6.1.2Sqoop導(dǎo)出原理
6.2Sqoop將HDFS數(shù)據(jù)導(dǎo)入MySQL
6.3Sqoop將MySQL數(shù)據(jù)導(dǎo)入HDFS
第7章數(shù)據(jù)采集工具Flume
7.1Flume簡介
7.2Flume構(gòu)成和工作原理
7.2.1Flume構(gòu)成
7.2.2Flume工作原理
7.3Flume實(shí)戰(zhàn)
7.3.1Flume監(jiān)聽目錄實(shí)戰(zhàn)
7.3.2Flume一對多實(shí)戰(zhàn)
7.3.3Flume攔截器實(shí)戰(zhàn)
7.3.4Flume采集數(shù)據(jù)到HDFS
7.3.5Kafka對接Flume實(shí)戰(zhàn)
第8章發(fā)布訂閱消息系統(tǒng)Kafka
8.1Kafka 簡介
8.2Kafka的消息生產(chǎn)者
8.2.1Kafka生產(chǎn)者的運(yùn)行流程
8.2.2Kafka生產(chǎn)者分區(qū)
8.2.3副本的同步復(fù)制和異步復(fù)制
8.2.4Kafka消息發(fā)送確認(rèn)機(jī)制
8.3Kafka的Broker保存消息
8.3.1存儲(chǔ)方式與策略
8.3.2Topic創(chuàng)建與刪除
8.4Kafka的消息消費(fèi)者
8.4.1消費(fèi)機(jī)制
8.4.2消費(fèi)者組
8.5Kafka 的存儲(chǔ)機(jī)制
8.5.1Kafka主題Topic
8.5.2Kafka分片Partition
8.5.3Kafka日志Segment File
8.6Kafka 實(shí)戰(zhàn)
8.6.1Kafka發(fā)送消息
8.6.2Kafka自定義分區(qū)發(fā)送消息
8.6.3Spring Boot整合Kafka發(fā)送消息
第9章數(shù)據(jù)處理分析引擎Spark
9.1Spark 簡介
9.2Spark 運(yùn)行原理
9.2.1Spark的基本概念
9.2.2Spark運(yùn)行的原理
9.2.3Driver運(yùn)行在Client
9.2.4Driver運(yùn)行在Worker節(jié)點(diǎn)
9.3Spark算子RDD
9.3.1RDD的屬性
9.3.2RDD的依賴關(guān)系
9.3.3RDD的shuffle過程
9.3.4RDD的緩存和檢查機(jī)制
9.4Spark SQL
9.4.1Spark SQL概念
9.4.2Spark SQL的架構(gòu)
9.4.3DataSets和DataFrames
9.4.4Spark SQL示例
9.5Spark Streaming
9.5.1Spark Streaming介紹/9.5.2DStream轉(zhuǎn)換操作
9.5.3Spark Streaming窗口操作
9.5.4DStream輸入
9.5.5DStream 輸出
9.5.6DSFrame和SQL操作
9.5.7Spark Streaming檢查點(diǎn)
9.6Spark Streaming接收Flume數(shù)據(jù)實(shí)戰(zhàn)
9.7Spark Streaming接收Kafka數(shù)據(jù)實(shí)戰(zhàn)
第10章全文搜索引擎Elasticsearch
10.1Elasticsearch簡介
10.2Elasticsearch架構(gòu)和原理
10.2.1Elasticsearch核心概念
10.2.2Elasticsearch工作原理
10.2.3Elasticsearch倒排索引
10.3Elasticsearch實(shí)戰(zhàn)
10.3.1Elasticsearch索引創(chuàng)建
10.3.2Elasticsearch索引更新
10.3.3Elasticsearch索引查詢
10.3.4Elasticsearch索引刪除
10.3.5Elasticsearch保存文檔
10.3.6Elasticsearch更新文檔
10.3.7Elasticsearch精確查詢
10.3.8Elasticsearch模糊查詢
10.3.9Elasticsearch范圍查詢
10.3.10Elasticsearch布爾查詢
10.3.11Elasticsearch聚合查詢
10.3.12Elasticsearch高亮查詢
10.4Elasticsearch實(shí)現(xiàn)搜索系統(tǒng)
10.4.1搜索系統(tǒng)項(xiàng)目環(huán)境準(zhǔn)備
10.4.2Elasticsearch實(shí)現(xiàn)搜索功能
第11章分布式處理引擎Flink
11.1Flink 概述
11.2Flink基本組件和運(yùn)行時(shí)架構(gòu)
11.2.1Flink運(yùn)行時(shí)架構(gòu)
11.2.2Flink的分層
11.3Flink流處理流程
11.3.1Flink環(huán)境設(shè)置(Environment)
11.3.2Flink源算子(Source)
11.3.3Flink支持的數(shù)據(jù)類型
11.3.4