大數(shù)據(jù)處理技術(shù)與項目實戰(zhàn)

第1章 大數(shù)據(jù)處理技術(shù)及應(yīng)用概述
1.1 大數(shù)據(jù)概念及特征
1.2 大數(shù)據(jù)處理技術(shù)
1.2.1 數(shù)據(jù)采集
1.2.2 數(shù)據(jù)預(yù)處理
1.2.3 數(shù)據(jù)存儲
1.2.4 數(shù)據(jù)計算
1.2.5 數(shù)據(jù)分析
1.2.6 數(shù)據(jù)解釋
1.3 Google大數(shù)據(jù)處理系統(tǒng)
1.3.1 GFS
1.3.2 MapReducee
1.3.3 BigTable
1.4 Hadoop大數(shù)據(jù)處理框架
1.4.1 Hadoop簡介
1.4.2 Hadoop生態(tài)圈
1.5 大數(shù)據(jù)的行業(yè)應(yīng)用
第2章 Hadoop安裝與配置
2.1 虛擬機與Linux系統(tǒng)安裝
2.1.1 虛擬機安裝
2.1.2 Linux系統(tǒng)安裝
2.2 Hadoop完全分布式安裝與配置
2.2.1 SSH安裝與配置
2.2.2 JDK安裝與配置
2.2.3 Hadoop完全分布式安裝與配置
第3章 分布式文件系統(tǒng)HDFS
3.1 HDFS概述
3.1.1 HDFS架構(gòu)
3.1.2 HDFS的優(yōu)缺點
3.2 HDFS兩種操作方式
3.2.1 HDFS Shell命令
3.2.2 HDFS JAVA AP
3.2.3 HDFS JAVA API實例
3.3 項目實戰(zhàn)：分布式云盤系統(tǒng)
3.3.1 開發(fā)環(huán)境安裝與配置
3.3.2 項目設(shè)計
3.3.3 項目實現(xiàn)
3.3.4 運行測試
第4章 大數(shù)據(jù)分布式并行處理框架MapReduce
4.1 MapReduce概述
4.1.1 MapReduce計算框架
4.1.2 MapReduce工作流程
d.1.3 Spark、Flink和Hadoop比較
4.2 MapReduce編程基礎(chǔ)
4.2.1 Mapper類和Reducer類
4.2.2 MapReduce作業(yè)配置
4.2.3 MapReduce數(shù)據(jù)類型
4.3 MapReduce編程實例
4.3.1 MapReduce項目創(chuàng)建與運行
4.3.2 Map編程實例
4.3.3 單個MapReduce編程實例
4.3.4 多個Mapreduce過程編程實例
4.4 項目實戰(zhàn)：電信手機流量數(shù)據(jù)分析系統(tǒng)
4.4.1 項目設(shè)計
4.4.2 項目實現(xiàn)
4.4.3 項目運行測試
第5章 分布式數(shù)據(jù)倉庫Hive
5.1 Hive概述
5.1.1 Hive簡介
5.1.2 Hive的體系架構(gòu)
5.1.3 Hive與傳統(tǒng)數(shù)據(jù)庫的對比分析
5.1.4 Hive的優(yōu)缺點
5.2 Hive安裝與配置
5.2.1 Hive安裝
5.2.2 安裝配置Hive+mysql
5.3 Hive Shell操作
5.3.1 Hive非交互模式常用Shell命令
5.3.2 Hive交互模式下的命令
5.3.3 Hive的常用HiveQL操作
5.4 Hive Java API
5.4.1 Hive Java API基本操作
5.4.2 Hive Java API實例
5.5 項目實戰(zhàn)：糧食生產(chǎn)離線大數(shù)據(jù)分析系統(tǒng)
5.5.1 系統(tǒng)設(shè)計
5.5.2 項目創(chuàng)建
5.5.3 系統(tǒng)實現(xiàn)關(guān)鍵技術(shù)
5.5.4 系統(tǒng)功能實現(xiàn)
5.5.5 項目運行測試
第6章 分布式數(shù)據(jù)庫HBase
6.1 HBase概述
6.1.1 HBase數(shù)據(jù)存儲模式
6.1.2 HBase的邏輯架構(gòu)
6.1.3 HBase數(shù)據(jù)模型簡介
6.1.4 HBase設(shè)計
6.1.5 HBase的優(yōu)缺點
6.2 HBase安裝與配置
6.2.1 Zookeeper安裝與配置
6.2.2 Hbaser安裝與配置
6.3 HBase Shell命令
6.3.1 查詢操作
6.3.2 DDL操作
6.3.3 DML操作
6.3.4 HBase Shell命令綜合實例
6.4 HBase.Java API
6.4.1 HBase的常用Java API
6.4.2 HBase Java API實例
6.5 項目實戰(zhàn)：用戶通話記錄高效查詢系統(tǒng)
6.5.1 項目設(shè)計
6.5.2 項目實現(xiàn)
6.5.3 項目運行測試
第7章 海量日志采集Flume
7.1 Flume概述
7.1.1 Flume架構(gòu)
7.1.2 Flume工作原理
7.1.3 Flume特點
7.2 .Flume安裝與配置
7.3 F1ume基礎(chǔ)應(yīng)用
7.3.1 案例一：Avm source
7.3.2 案例二：Neteat source
7.3.3 案例三：實時監(jiān)控單個追加文件
7.3.4 案例四：監(jiān)控本地文件夾新增文件
7.3.5 案例五：實時監(jiān)控文件夾下文件追加
7.4 Flume自定義組件高階開發(fā)
7.4.1 自定義攔截器
7.4.2 自定義Source
7.4.3 自定義Sink
7.5 項目實戰(zhàn)：電商平臺用戶行為日志分析系統(tǒng)
7.5.1 系統(tǒng)設(shè)計
7.5.2 項目實現(xiàn)
7.5.3 項目運行測試
第8章 基于Mahout.的個性化推薦系統(tǒng)
8.1 推薦系統(tǒng)概述
8.1.1 推薦系統(tǒng)工作流程
8.1.2 推薦機制
8.2 Mahout概述
8.2.1 Mahout的核心概念
8.2.2 Mahout應(yīng)用場景
8.3 Mahout安裝與配置
8.3.1 Mahout下載與配置
8.3.2 Mahout測試
8.4 Eclipse中創(chuàng)建Maven工程
8.4.1 創(chuàng)建項目
8.4 _2 項目配置
8.5 項目實戰(zhàn)：基于Mahout個性化新聞推薦系統(tǒng)
8.5.1 系統(tǒng)設(shè)計
8.5.2 項目創(chuàng)建
8.5.3 項目實現(xiàn)
8.5.4 項目運行測試