大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計(jì)實(shí)戰(zhàn)

定　價(jià)：￥59.00

作　者：	彭淵著
出版社：	機(jī)械工業(yè)出版社
叢編項(xiàng)：
標(biāo)　簽：	操作系統(tǒng)/系統(tǒng)開發(fā) 計(jì)算機(jī)/網(wǎng)絡(luò)

購買這本書可以去

ISBN：	9787111455035	出版時間：	2014-03-01	包裝：
開本：		頁數(shù)：		字?jǐn)?shù)：

內(nèi)容簡介

　　《大規(guī)模分布式系統(tǒng)架構(gòu)與設(shè)計(jì)實(shí)戰(zhàn)》從作者的實(shí)戰(zhàn)經(jīng)驗(yàn)出發(fā)，深入淺出地講解了如何建立一個Hadoop那樣的分布式系統(tǒng)，實(shí)現(xiàn)對多臺計(jì)算機(jī)CPU、內(nèi)存、硬盤的統(tǒng)一利用，從而獲取強(qiáng)大計(jì)算能力去解決復(fù)雜問題。一般互聯(lián)網(wǎng)企業(yè)的分布式存儲計(jì)算系統(tǒng)都是個大平臺，系統(tǒng)復(fù)雜、代碼龐大，而且只適合公司的業(yè)務(wù)，工程師很難下載安裝到自己的電腦里學(xué)習(xí)和吃透。本書對分布式核心技術(shù)進(jìn)行了大量歸納和總結(jié)，并從中抽取出一套簡化的框架和編程API進(jìn)行講解，方便工程師了解分布式系統(tǒng)的主要技術(shù)實(shí)現(xiàn)。這不是一本空談概念、四處摘抄的書，這本書包含了大量精煉示例，手把手教你掌握分布式核心技術(shù)。　本書主要內(nèi)容　分布式并行計(jì)算的基本原理解剖；分布式協(xié)調(diào)的實(shí)現(xiàn)，包括如何實(shí)現(xiàn)公共配置管理，如何實(shí)現(xiàn)分布式鎖，如何實(shí)現(xiàn)集群管理等；分布式緩存的實(shí)現(xiàn)，包括如何提供完整的分布式緩存來利用多機(jī)內(nèi)存能力；消息隊(duì)列的實(shí)現(xiàn)，包括如何實(shí)現(xiàn)發(fā)送和接收模式；分布式文件系統(tǒng)的實(shí)現(xiàn)，包括如何像操作本地文件一樣操作遠(yuǎn)程文件，并利用多機(jī)硬盤存儲能力；分布式作業(yè)調(diào)度平臺的實(shí)現(xiàn)，包括資源隔離、資源調(diào)度等。　參考閱讀　978-7-111-43052-0大規(guī)模分布式存儲系統(tǒng)：原理解析與架構(gòu)實(shí)戰(zhàn)　978-7-111-40392-0分布式系統(tǒng)：概念與設(shè)計(jì)（原書第5版）　978-7-111-45244-7Hadoop應(yīng)用開發(fā)技術(shù)詳解　978-7-111-41766-8Hadoop技術(shù)內(nèi)幕：深入解析HadoopCommon和HDFS架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理　978-7-111-42226-6Hadoop技術(shù)內(nèi)幕：深入解析MapReduce架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理　978-7-111-44534-0Hadoop技術(shù)內(nèi)幕：深入解析YARN架構(gòu)設(shè)計(jì)與實(shí)現(xiàn)原理　978-7-111-43514-3網(wǎng)站數(shù)據(jù)分析：數(shù)據(jù)驅(qū)動的網(wǎng)站管理、優(yōu)化和運(yùn)營　978-7-111-42591-5數(shù)據(jù)挖掘：實(shí)用案例分析

作者簡介

　　彭淵，資深架構(gòu)師，現(xiàn)任華為企業(yè)中間件首席架構(gòu)師，主要負(fù)責(zé)中間件和大數(shù)據(jù)。前淘寶高級專家（花名：千峰），先后在淘寶交易、淘寶中間件、集團(tuán)核心系統(tǒng)、阿里金融等部門工作。曾任金蝶總體架構(gòu)部SOA架構(gòu)師，負(fù)責(zé)設(shè)計(jì)ESB。曾艱苦創(chuàng)業(yè)，編寫和銷售財(cái)務(wù)軟件。在Java技術(shù)領(lǐng)域從業(yè)十多年，撰寫過多款開源軟件，其中，淘寶分布式技術(shù)框架Fourinone為其代表作。他擁有軟件著作權(quán)的代表作有：BS系列軟件（包括財(cái)務(wù)進(jìn)銷存、OA產(chǎn)品、CRM等）、FMS視頻會議、Flash網(wǎng)站生成軟件（華軍可下載），所有軟件作品均貢獻(xiàn)99%代碼。

圖書目錄

前　言第1章概述 1 1.1分布式計(jì)算、并行計(jì)算、云計(jì)算概述 1 1.2分布式產(chǎn)品Hadoop、ZooKeeper、HBase概述 6 1.3Fourinone的產(chǎn)生背景 12 第2章分布式并行計(jì)算的原理與實(shí)踐 14 2.1分布式并行計(jì)算模式 14 2.1.1最初想到的master-slave結(jié)構(gòu) 14 2.1.2“包工頭-職介所-手工倉庫-工人”模式 15 2.1.3基于消息中樞的計(jì)算模式 17 2.1.4基于網(wǎng)狀直接交互的計(jì)算模式 18 2.1.5并行結(jié)合串行模式 22 2.1.6包工頭內(nèi)部批量多階段處理模式 23 2.1.7計(jì)算集群模式和兼容遺留計(jì)算系統(tǒng) 24 2.1.8工人計(jì)算的服務(wù)化模式 26 2.2跟Hadoop的區(qū)別 28 2.3關(guān)于分布式的一些概念與產(chǎn)品 30 2.4配置文件和核心API介紹 35 2.5實(shí)踐與應(yīng)用 36 2.5.1一個簡單的示例 36 2.5.2工頭工人計(jì)算模式更完整的示例 39 2.5.3工人合并互相say hello的示例 44 2.5.4 實(shí)現(xiàn)Hadoop經(jīng)典實(shí)例Word Count 48 2.5.5分布式多機(jī)部署的示例 52 2.5.6分布式計(jì)算自動部署的示例 53 2.5.7計(jì)算過程中的故障和容災(zāi)處理 57 2.5.8計(jì)算過程中的相關(guān)時間屬性設(shè)置 60 2.5.9如何在一臺計(jì)算機(jī)上一次性啟動多個進(jìn)程 63 2.5.10如何調(diào)用C/C++程序?qū)崿F(xiàn) 68 2.5.11如何中止工人計(jì)算和超時中止 68 2.5.12使用并行計(jì)算大幅提升遞歸算法效率 73 2.5.13使用并行計(jì)算求圓周率π 81 2.5.14從賭錢游戲看PageRank算法 86 2.5.15使用并行計(jì)算實(shí)現(xiàn)上億排序 96 2.5.16工人服務(wù)化模式應(yīng)用示例 104 2.6實(shí)時流計(jì)算 107 第3章分布式協(xié)調(diào)的實(shí)現(xiàn) 111 3.1協(xié)調(diào)架構(gòu)原理簡介 111 3.2核心API 113 3.3權(quán)限機(jī)制 115 3.4相對于ZooKeeper的區(qū)別 116 3.5與Paxos算法的區(qū)別 117 3.6實(shí)踐與應(yīng)用 119 3.6.1如何實(shí)現(xiàn)公共配置管理 119 3.6.2如何實(shí)現(xiàn)分布式鎖 126 3.6.3如何實(shí)現(xiàn)集群管理 129 3.6.4多節(jié)點(diǎn)權(quán)限操作示例 134 3.6.5領(lǐng)導(dǎo)者選舉相關(guān)屬性設(shè)置 137 第4章分布式緩存的實(shí)現(xiàn) 139 4.1小型網(wǎng)站或企業(yè)應(yīng)用的緩存實(shí)現(xiàn)架構(gòu) 139 4.2大型分布式緩存系統(tǒng)實(shí)現(xiàn)過程 140 4.3一致性哈希算法的原理、改進(jìn)和實(shí)現(xiàn) 147 4.4解決任意擴(kuò)容的問題 152 4.5解決擴(kuò)容后數(shù)據(jù)均勻的問題 153 4.6分布式Session的架構(gòu)設(shè)計(jì)和實(shí)現(xiàn) 154 4.7緩存容量的相關(guān)屬性設(shè)置 156 4.8緩存清空的相關(guān)屬性設(shè)置 158 第5章消息隊(duì)列的實(shí)現(xiàn) 162 5.1閑話中間件與MQ 162 5.2JMS的兩種經(jīng)典模式 163 5.3如何實(shí)現(xiàn)發(fā)送接收的隊(duì)列模式 164 5.4如何實(shí)現(xiàn)主題訂閱模式 168 第6章分布式文件系統(tǒng)的實(shí)現(xiàn) 173 6.1FTTP架構(gòu)原理解析 174 6.2搭建配置FttpAdapter環(huán)境 177 6.3訪問集群文件根目錄 179 6.4訪問和操作遠(yuǎn)程文件 181 6.5集群內(nèi)文件復(fù)制和并行復(fù)制 184 6.6讀寫遠(yuǎn)程文件 187 6.7解析遠(yuǎn)程文件 189 6.8并行讀寫遠(yuǎn)程文件 191 6.9批量并行讀寫遠(yuǎn)程文件和事務(wù)補(bǔ)償處理 194 6.10如何進(jìn)行整型讀寫 198 6.11基于整型讀寫的上億排序 205 第7章分布式作業(yè)調(diào)度平臺的實(shí)現(xiàn) 219 7.1調(diào)度平臺的設(shè)計(jì)與實(shí)現(xiàn) 219 7.2資源隔離的實(shí)現(xiàn) 224 7.3資源調(diào)度算法 226 7.4其他作業(yè)調(diào)度平臺簡介 227 7.4.1其他MPI作業(yè)資源調(diào)度技術(shù) 227 7.4.2Mesos和Yarn簡介 229