深入云計(jì)算：Hadoop應(yīng)用開發(fā)實(shí)戰(zhàn)詳解（修訂版）

第1篇& ;& ;Hadoop技術(shù)篇<br>第& ;1章& ;& ;初識Hadoop<br>1.1& ;& ;Hadoop簡介& ;2<br>1.1.1& ;& ;Hadoop的起源& ;2<br>1.1.2& ;& ;什么是Hadoop& ;3<br>1.1.3& ;& ;Hadoop的核心技術(shù)是Google核心技術(shù)的開源實(shí)現(xiàn)& ;4<br>1.1.4& ;& ;Hadoop的功能與優(yōu)點(diǎn)& ;5<br>1.1.5& ;& ;Hadoop的應(yīng)用現(xiàn)狀和發(fā)展趨勢& ;6<br>1.2& ;& ;Hadoop的體系結(jié)構(gòu)& ;11<br>1.2.1& ;& ;HDFS的體系結(jié)構(gòu)& ;12<br>1.2.2& ;& ;MapReduce的體系結(jié)構(gòu)& ;19<br>1.3& ;& ;Hadoop與分布式開發(fā)& ;21<br>1.4& ;& ;Hadoop的數(shù)據(jù)管理& ;23<br>1.4.1& ;& ;HDFS的數(shù)據(jù)管理& ;23<br>1.4.2& ;& ;HBase的數(shù)據(jù)管理& ;23<br>1.4.3& ;& ;Hive的數(shù)據(jù)管理& ;24<br>1.5& ;& ;思考與總結(jié)& ;25<br>第& ;2章& ;& ;Hadoop的安裝和配置<br>2.1& ;& ;在Windows下安裝與配置Hadoop& ;27<br>2.1.1& ;& ;JDK的安裝& ;27<br>2.1.2& ;& ;Cygwin的安裝& ;30<br>2.1.3& ;& ;Hadoop的安裝& ;36<br>2.2& ;& ;在Linux下安裝與配置Hadoop& ;38<br>2.2.1& ;& ;Ubuntu的安裝& ;38<br>2.2.2& ;& ;JDK的安裝& ;41<br>2.2.3& ;& ;Hadoop的安裝& ;41<br>2.3& ;& ;Hadoop的執(zhí)行實(shí)例& ;43<br>2.3.1& ;& ;運(yùn)行Hadoop& ;44<br>2.3.2& ;& ;運(yùn)行wordcount.java程序& ;44<br>2.4& ;& ;Hadoop& ;Eclipse簡介和使用& ;45<br>2.4.1& ;& ;Eclipse插件介紹& ;45<br>2.4.2& ;& ;Eclipse插件開發(fā)配置& ;45<br>2.4.3& ;& ;在Eclipse下運(yùn)行WordCount程序& ;49<br>2.5& ;& ;Hadoop的集群和優(yōu)化& ;56<br>2.5.1& ;& ;Hadoop的性能優(yōu)化& ;57<br>2.5.2& ;& ;Hadoop配置機(jī)架感知信息& ;58<br>2.6& ;& ;思考與總結(jié)& ;59<br>第& ;3章& ;& ;HDFS海量存儲<br>3.1& ;& ;開源的GFS——HDFS& ;60<br>3.1.1& ;& ;HDFS簡介& ;60<br>3.1.2& ;& ;HDFS的體系結(jié)構(gòu)& ;63<br>3.1.3& ;& ;HDFS的保障可靠性措施& ;64<br>3.2& ;& ;HDFS的常用操作& ;67<br>3.2.1& ;& ;HDFS下的文件操作& ;67<br>3.2.2& ;& ;管理與更新& ;74<br>3.2.3& ;& ;HDFS& ;API詳解& ;76<br>3.2.4& ;& ;HDFS的讀/寫數(shù)據(jù)流& ;88<br>3.3& ;& ;用HDFS存儲海量的視頻數(shù)據(jù)& ;91<br>3.3.1& ;& ;場景分析& ;91<br>3.3.2& ;& ;設(shè)計(jì)實(shí)現(xiàn)& ;91<br>3.4& ;& ;思考與總結(jié)& ;93<br>第& ;4章& ;& ;初識MapReduce<br>4.1& ;& ;MapReduce簡介& ;94<br>4.1.1& ;& ;MapReduce要解決什么問題& ;94<br>4.1.2& ;& ;MapReduce的理論基礎(chǔ)& ;95<br>4.1.3& ;& ;MapReduce的編程模式& ;97<br>4.2& ;& ;MapReduce的集群行為& ;98<br>4.3& ;& ;Map/Reduce框架& ;100<br>4.4& ;& ;樣例分析：單詞計(jì)數(shù)& ;100<br>4.4.1& ;& ;WordCount實(shí)例的運(yùn)行過程& ;100<br>4.4.2& ;& ;WordCount的源碼分析和程序處理過程& ;103<br>4.4.3& ;& ;MapReduce常用類及其接口& ;106<br>4.5& ;& ;實(shí)例：倒排索引& ;109<br>4.5.1& ;& ;倒排索引的分析和設(shè)計(jì)& ;109<br>4.5.2& ;& ;倒排索引完整源碼& ;112<br>4.5.3& ;& ;運(yùn)行代碼結(jié)果& ;116<br>4.6& ;& ;MapReduce& ;在日志分析中數(shù)據(jù)去重案例& ;117<br>4.6.1& ;& ;什么是數(shù)據(jù)去重& ;117<br>4.6.2& ;& ;設(shè)計(jì)思路& ;118<br>4.6.3& ;& ;程序代碼& ;118<br>4.6.4& ;& ;代碼運(yùn)行結(jié)果& ;120<br>4.7& ;& ;數(shù)據(jù)排序?qū)嵗?amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp;amp; ;122<br>4.7.1& ;& ;實(shí)例描述& ;122<br>4.7.2& ;& ;設(shè)計(jì)思路& ;123<br>4.7.3& ;& ;程序代碼& ;123<br>4.8& ;& ;思考與總結(jié)& ;126<br>第& ;5章& ;& ;分布式開源數(shù)據(jù)庫HBase<br>5.1& ;& ;HBase簡介& ;127<br>5.1.1& ;& ;HBase邏輯視圖& ;127<br>5.1.2& ;& ;HBase物理存儲& ;129<br>5.1.3& ;& ;子表Region服務(wù)器& ;130<br>5.1.4& ;& ;Hmaster主服務(wù)器& ;132<br>5.1.5& ;& ;元數(shù)據(jù)表& ;132<br>5.2& ;& ;HBase的安裝配置& ;133<br>5.2.1& ;& ;HBase單機(jī)模式& ;133<br>5.2.2& ;& ;HBase偽分布模式& ;135<br>5.2.3& ;& ;HBase完全分布模式& ;136<br>5.3& ;& ;學(xué)生成績表實(shí)例& ;140<br>5.3.1& ;& ;Shell的基本操作& ;141<br>5.3.2& ;& ;代碼實(shí)現(xiàn)& ;143<br>5.3.3& ;& ;關(guān)于中文的處理& ;145<br>5.3.4& ;& ;常用HBase的& ;Shell操作& ;149<br>5.4& ;& ;思考與總結(jié)& ;153<br>第& ;6章& ;& ;MapReduce進(jìn)階<br>6.1& ;& ;API的配置& ;154<br>6.1.1& ;& ;一個(gè)簡單的配置文件& ;155<br>6.1.2& ;& ;合并多個(gè)源文件& ;156<br>6.1.3& ;& ;可變的擴(kuò)展& ;157<br>6.2& ;& ;配置開發(fā)環(huán)境& ;157<br>6.2.1& ;& ;配置文件設(shè)置& ;157<br>6.2.2& ;& ;設(shè)置用戶標(biāo)識& ;159<br>6.3& ;& ;復(fù)合鍵值對的使用& ;159<br>6.3.1& ;& ;小的鍵值對如何合并成大的鍵值對& ;159<br>6.3.2& ;& ;巧用復(fù)合鍵讓系統(tǒng)完成排序& ;160<br>6.4& ;& ;用戶定制數(shù)據(jù)類型& ;164<br>6.4.1& ;& ;內(nèi)置數(shù)據(jù)類型& ;164<br>6.4.2& ;& ;用戶自定義數(shù)據(jù)類型& ;164<br>6.5& ;& ;用戶定制輸入/輸出格式& ;166<br>6.5.1& ;& ;內(nèi)置數(shù)據(jù)的輸入格式& ;167<br>6.5.2& ;& ;用戶定制數(shù)據(jù)輸入格式與RecordReader& ;168<br>6.5.3& ;& ;Hadoop內(nèi)置的數(shù)據(jù)輸出格式& ;172<br>6.5.4& ;& ;& ;Hadoop內(nèi)置的數(shù)據(jù)輸出格式與RecordWriter& ;172<br>6.6& ;& ;用戶定制Partitioner和Combiner& ;173<br>6.7& ;& ;組合式的MapReduce作業(yè)& ;176<br>6.7.1& ;& ;MapReduce作業(yè)運(yùn)行機(jī)制& ;176<br>6.7.2& ;& ;組合式MapReduce計(jì)算作業(yè)& ;178<br>6.8& ;& ;DataJoin連接多數(shù)據(jù)源& ;183<br>6.9& ;& ;思考與總結(jié)& ;187<br>第& ;7章& ;& ;Hive數(shù)據(jù)倉庫<br>7.1& ;& ;Hive簡介& ;188<br>7.2& ;& ;Hive安裝與配置& ;189<br>7.3& ;& ;Hive的服務(wù)& ;191<br>7.3.1& ;& ;Hive& ;shell& ;191<br>7.3.2& ;& ;JDBC/ODBC& ;192<br>7.3.3& ;& ;Thrift服務(wù)& ;192<br>7.3.4& ;& ;Web接口& ;193<br>7.3.5& ;& ;元數(shù)據(jù)服務(wù)& ;193<br>7.4& ;& ;HiveQL查詢語言& ;193<br>7.5& ;& ;Hive實(shí)例& ;202<br>7.5.1& ;& ;UDF& ;編程實(shí)例& ;202<br>7.5.2& ;& ;UDAF& ;編程實(shí)例& ;204<br>7.5.3& ;& ;Hive的日志數(shù)據(jù)統(tǒng)計(jì)實(shí)戰(zhàn)& ;206<br>7.6& ;& ;思考與總結(jié)& ;211<br>第& ;8章& ;& ;Pig開發(fā)應(yīng)用<br>8.1& ;& ;Pig簡介& ;212<br>8.2& ;& ;Pig的安裝與配置& ;213<br>8.3& ;& ;Pig的使用& ;215<br>8.3.1& ;& ;Pig的MapReduce模式& ;215<br>8.3.2& ;& ;Pig的運(yùn)行方式& ;216<br>8.4& ;& ;通過Grunt學(xué)習(xí)Pig& ;Latin& ;219<br>8.4.1& ;& ;Pig的數(shù)據(jù)模型& ;220<br>8.4.2& ;& ;運(yùn)算符& ;221<br>8.4.3& ;& ;常用操作& ;222<br>8.4.4& ;& ;各種SQL在Pig中的實(shí)現(xiàn)& ;229<br>8.4.5& ;& ;Pig& ;Latin實(shí)現(xiàn)& ;233<br>8.5& ;& ;Pig使用的案例& ;235<br>8.6& ;& ;思考與總結(jié)& ;235<br>第& ;9章& ;& ;Chukwa數(shù)據(jù)收集系統(tǒng)<br>9.1& ;& ;Chukwa簡介& ;236<br>9.1.1& ;& ;Chukwa是什么& ;236<br>9.1.2& ;& ;Chukwa主要解決什么問題& ;240<br>9.2& ;& ;Chukwa的安裝配置& ;240<br>9.2.1& ;& ;Chukwa的安裝& ;240<br>9.2.2& ;& ;Chukwa的配置& ;242<br>9.2.3& ;& ;Chukwa的啟動& ;245<br>9.3& ;& ;Chukwa的基本命令& ;248<br>9.3.1& ;& ;Chukwa端的命令& ;248<br>9.3.2& ;& ;Agent& ;端的命令& ;249<br>9.4& ;& ;Chukwa在數(shù)據(jù)收集處理方面的運(yùn)用& ;251<br>9.4.1& ;& ;數(shù)據(jù)生成& ;251<br>9.4.2& ;& ;數(shù)據(jù)收集& ;251<br>9.4.3& ;& ;數(shù)據(jù)處理& ;252<br>9.4.4& ;& ;數(shù)據(jù)析取& ;252<br>9.4.5& ;& ;數(shù)據(jù)稀釋& ;253<br>9.4.6& ;& ;數(shù)據(jù)顯示& ;253<br>9.5& ;& ;思考與總結(jié)& ;253<br>第& ;10章& ;& ;ZooKeeper開發(fā)應(yīng)用<br>10.1& ;& ;ZooKeeper簡介& ;254<br>10.1.1& ;& ;ZooKeeper的設(shè)計(jì)目標(biāo)& ;254<br>10.1.2& ;& ;ZooKeeper主要解決什么問題& ;256<br>10.1.3& ;& ;ZooKeeper的基本概念和工作原理& ;257<br>10.2& ;& ;ZooKeeper的安裝配置& ;260<br>10.2.1& ;& ;單機(jī)模式& ;261<br>10.2.2& ;& ;啟動并測試ZooKeeper& ;262<br>10.2.3& ;& ;集群模式& ;264<br>10.3& ;& ;ZooKeeper提供的接口& ;267<br>10.4& ;& ;ZooKeeper事件& ;270<br>10.5& ;& ;ZooKeeper實(shí)例& ;271<br>10.5.1& ;& ;實(shí)例1：一個(gè)簡單的應(yīng)用——分布式互斥鎖& ;271<br>10.5.2& ;& ;實(shí)例2：進(jìn)程調(diào)度系統(tǒng)& ;276<br>10.6& ;& ;思考與總結(jié)& ;283<br>第2篇& ;& ;Hadoop管理和容錯(cuò)篇<br>第& ;11章& ;& ;Hadoop管理<br>11.1& ;& ;Hadoop權(quán)限管理& ;286<br>11.2& ;& ;HDFS文件系統(tǒng)管理& ;292<br>11.3& ;& ;Hadoop維護(hù)與管理& ;298<br>11.4& ;& ;Hadoop常見問題及解決辦法& ;300<br>11.5& ;& ;思考與總結(jié)& ;310<br>第& ;12章& ;& ;Hadoop容錯(cuò)<br>12.1& ;& ;Hadoop的可靠性& ;311<br>12.1.1& ;& ;HDFS中的NameNode單點(diǎn)失效解決方案& ;311<br>12.1.2& ;& ;HDFS數(shù)據(jù)塊副本機(jī)制& ;313<br>12.1.3& ;& ;HDFS心跳機(jī)制& ;319<br>12.1.4& ;& ;HDFS負(fù)載均衡& ;320<br>12.1.5& ;& ;MapReduce容錯(cuò)& ;321<br>12.2& ;& ;Hadoop的SecondayNameNode機(jī)制& ;322<br>12.2.1& ;& ;磁盤鏡像與日志文件& ;322<br>12.2.2& ;& ;SecondaryNameNode更新鏡像的流程& ;323<br>12.3& ;& ;Avatar機(jī)制& ;325<br>12.3.1& ;& ;Avatar機(jī)制簡介& ;325<br>12.3.2& ;& ;Avatars部署實(shí)戰(zhàn)& ;326<br>12.4& ;& ;Hadoop_HBase容錯(cuò)& ;331<br>12.5& ;& ;思考與總結(jié)& ;333<br>第3篇& ;& ;Hadoop實(shí)戰(zhàn)篇<br>第& ;13章& ;& ;綜合實(shí)戰(zhàn)1：Hadoop中的數(shù)據(jù)庫訪問<br>13.1& ;& ;DBInputFormat類訪問數(shù)據(jù)庫& ;336<br>13.1.1& ;& ;在DBInputFormat類中包含的內(nèi)置類& ;336<br>13.1.2& ;& ;使用DBInputFormat讀取數(shù)據(jù)庫表中的記錄& ;337<br>13.1.3& ;& ;使用示例& ;337<br>13.2& ;& ;使用DBOutputFormat向數(shù)據(jù)庫中寫記錄& ;340<br>13.3& ;& ;思考與總結(jié)& ;343<br>第& ;14章& ;& ;綜合實(shí)戰(zhàn)2：一個(gè)簡單的分布式的Grep<br>14.1& ;& ;分析與設(shè)計(jì)& ;344<br>14.2& ;& ;實(shí)現(xiàn)代碼& ;345<br>14.3& ;& ;運(yùn)行程序& ;346<br>14.4& ;& ;思考與總結(jié)& ;346<br>第& ;15章& ;& ;綜合實(shí)戰(zhàn)3：打造一個(gè)搜索引擎<br>15.1& ;& ;搜索引擎工作原理& ;348<br>15.2& ;& ;網(wǎng)頁搜集與信息提取& ;350<br>15.2.1& ;& ;設(shè)計(jì)的主要思想& ;350<br>15.2.2& ;& ;系統(tǒng)設(shè)計(jì)目標(biāo)& ;351<br>15.3& ;& ;網(wǎng)頁信息的提取與存儲& ;352<br>15.4& ;& ;MapReduce的預(yù)處理& ;353<br>15.4.1& ;& ;第一步：源數(shù)據(jù)過濾& ;353<br>15.4.2& ;& ;第二步：生成倒排文件& ;355<br>15.4.3& ;& ;第三步：建立二級索引& ;362<br>15.5& ;& ;建立Web信息查詢服務(wù)& ;365<br>15.6& ;& ;思考與總結(jié)& ;366<br>第& ;16章& ;& ;綜合實(shí)戰(zhàn)4：移動通信信令監(jiān)測與查詢<br>16.1& ;& ;分析與設(shè)計(jì)& ;367<br>16.1.1& ;& ;CDR數(shù)據(jù)文件的檢測與索引創(chuàng)建任務(wù)調(diào)度& ;369<br>16.1.2& ;& ;從HDFS讀取數(shù)據(jù)并創(chuàng)建索引& ;370<br>16.1.3& ;& ;查詢CDR信息& ;371<br>16.2& ;& ;代碼實(shí)現(xiàn)& ;371<br>16.2.1& ;& ;CDR文件檢測和索引創(chuàng)建任務(wù)程序& ;371<br>16.2.2& ;& ;讀取CDR數(shù)據(jù)和索引創(chuàng)建處理& ;375<br>16.2.3& ;& ;CDR查詢& ;383<br>16.3& ;& ;思考與總結(jié)& ;384<br>附錄A& ;& ;Hadoop命令大全& ;385<br>附錄B& ;& ;HDFS命令大全& ;392<br>