Python數(shù)據(jù)處理

前言 xiii 第1　章 Python 簡(jiǎn)介　1 1.1　為什么選擇Python　4 1.2　開始使用Python　4 1.2.1　Python 版本選擇　5 1.2.2　安裝Python　6 1.2.3　測(cè)試Python　9 1.2.4　安裝pip　11 1.2.5　安裝代碼編輯器　12 1.2.6　安裝IPython（可選）　13 1.3　小結(jié)　13 第2　章 Python 基礎(chǔ)　14 2.1　基本數(shù)據(jù)類型　15 2.1.1　字符串　15 2.1.2　整數(shù)和浮點(diǎn)數(shù)　15 2.2　數(shù)據(jù)容器　18 2.2.1　變量　18 2.2.2　列表　21 2.2.3　字典　22 2.3　各種數(shù)據(jù)類型的用途　23 2.3.1　字符串方法：字符串能做什么　24 2.3.2　數(shù)值方法：數(shù)字能做什么　25 2.3.3　列表方法：列表能做什么　26 2.3.4　字典方法：字典能做什么　27 2.4　有用的工具：type、dir 和help　28 2.4.1　type　28 2.4.2　dir　28 2.4.3　help　30 2.5　綜合運(yùn)用　31 2.6　代碼的含義　32 2.7　小結(jié)　33 第3　章 供機(jī)器讀取的數(shù)據(jù)　34 3.1　CSV 數(shù)據(jù)　35 3.1.1　如何導(dǎo)入CSV 數(shù)據(jù)　36 3.1.2　將代碼保存到文件中并在命令行中運(yùn)行　39 3.2　JSON 數(shù)據(jù)　41 3.3　XML 數(shù)據(jù)　44 3.4　小結(jié)　56 第4　章 處理Excel 文件　58 4.1　安裝Python 包　58 4.2　解析Excel 文件　59 4.3　開始解析　60 4.4　小結(jié)　71 第5　章 處理PDF 文件，以及用Python 解決問題　73 5.1　盡量不要用PDF　73 5.2　解析PDF 的編程方法　74 5.2.1　利用slate 庫(kù)打開并讀取PDF　75 5.2.2　將PDF 轉(zhuǎn)換成文本　77 5.3　利用pdfminer 解析PDF　78 5.4　學(xué)習(xí)解決問題的方法　92 5.4.1　練習(xí)：使用表格提取，換用另一個(gè)庫(kù)　94 5.4.2　練習(xí)：手動(dòng)清洗數(shù)據(jù)　98 5.4.3　練習(xí)：試用另一種工具　98 5.5　不常見的文件類型　101 5.6　小結(jié)　101 第6　章 數(shù)據(jù)獲取與存儲(chǔ)　103 6.1　并非所有數(shù)據(jù)生而平等　103 6.2　真實(shí)性核查　104 6.3　數(shù)據(jù)可讀性、數(shù)據(jù)清潔度和數(shù)據(jù)壽命　105 6.4　尋找數(shù)據(jù)　105 6.4.1　打電話　105 6.4.2　美國(guó)政府?dāng)?shù)據(jù)　106 6.4.3　全球政府和城市開放數(shù)據(jù)　107 6.4.4　組織數(shù)據(jù)和非政府組織數(shù)據(jù)　109 6.4.5　教育數(shù)據(jù)和大學(xué)數(shù)據(jù)　109 6.4.6　醫(yī)學(xué)數(shù)據(jù)和科學(xué)數(shù)據(jù)　109 6.4.7　眾包數(shù)據(jù)和API　110 6.5　案例研究：數(shù)據(jù)調(diào)查實(shí)例　111 6.5.1　埃博拉病毒危機(jī)　111 6.5.2　列車安全　111 6.5.3　足球運(yùn)動(dòng)員的薪水　112 6.5.4　童工　112 6.6　數(shù)據(jù)存儲(chǔ)　113 6.7　數(shù)據(jù)庫(kù)簡(jiǎn)介　113 6.7.1　關(guān)系型數(shù)據(jù)庫(kù)：MySQL 和PostgreSQL　114 6.7.2　非關(guān)系型數(shù)據(jù)庫(kù)：NoSQL　116 6.7.3　用Python 創(chuàng)建本地?cái)?shù)據(jù)庫(kù)　117 6.8　使用簡(jiǎn)單文件　118 6.8.1　云存儲(chǔ)和Python　118 6.8.2　本地存儲(chǔ)和Python　119 6.9　其他數(shù)據(jù)存儲(chǔ)方式　119 6.10　小結(jié)　119 第7　章 數(shù)據(jù)清洗：研究、匹配與格式化　121 7.1　為什么要清洗數(shù)據(jù)　121 7.2　數(shù)據(jù)清洗基礎(chǔ)知識(shí)　122 7.2.1　找出需要清洗的數(shù)據(jù)　123 7.2.2　數(shù)據(jù)格式化　131 7.2.3　找出離群值和不良數(shù)據(jù)　135 7.2.4　找出重復(fù)值　140 7.2.5　模糊匹配　143 7.2.6　正則表達(dá)式匹配　146 7.2.7　如何處理重復(fù)記錄　150 7.3　小結(jié)　151 第8　章 數(shù)據(jù)清洗：標(biāo)準(zhǔn)化和腳本化　153 8.1　數(shù)據(jù)歸一化和標(biāo)準(zhǔn)化　153 8.2　數(shù)據(jù)存儲(chǔ)　154 8.3　找到適合項(xiàng)目的數(shù)據(jù)清洗方法　156 8.4　數(shù)據(jù)清洗腳本化　157 8.5　用新數(shù)據(jù)測(cè)試　170 8.6　小結(jié)　172 第9　章 數(shù)據(jù)探索和分析　173 9.1　探索數(shù)據(jù)　173 9.1.1　導(dǎo)入數(shù)據(jù)　174 9.1.2　探索表函數(shù)　179 9.1.3　聯(lián)結(jié)多個(gè)數(shù)據(jù)集　182 9.1.4　識(shí)別相關(guān)性　186 9.1.5　找出離群值　187 9.1.6　創(chuàng)建分組　189 9.1.7　深入探索　192 9.2　分析數(shù)據(jù)　193 9.2.1　分離和聚焦數(shù)據(jù)　194 9.2.2　你的數(shù)據(jù)在講什么　196 9.2.3　描述結(jié)論　196 9.2.4　將結(jié)論寫成文檔　197 9.3　小結(jié)　197 第10　章 展示數(shù)據(jù)　199 10.1　避免講故事陷阱　199 10.1.1　怎樣講故事　200 10.1.2　了解聽眾　200 10.2　可視化數(shù)據(jù)　201 10.2.1　圖表　201 10.2.2　時(shí)間相關(guān)數(shù)據(jù)　207 10.2.3　地圖　208 10.2.4　交互式元素　211 10.2.5　文字　212 10.2.6　圖片、視頻和插畫　212 10.3　展示工具　213 10.4　發(fā)布數(shù)據(jù)　213 10.4.1　使用可用站點(diǎn)　213 10.4.2　開源平臺(tái)：創(chuàng)建一個(gè)新網(wǎng)站　215 10.4.3　Jupyter（曾名IPython notebook）　216 10.5　小結(jié)　219 第11　章 網(wǎng)頁(yè)抓取：獲取并存儲(chǔ)網(wǎng)絡(luò)數(shù)據(jù)　221 11.1　抓取什么和如何抓取　221 11.2　分析網(wǎng)頁(yè)　223 11.2.1　檢視：標(biāo)記結(jié)構(gòu)　224 11.2.2　網(wǎng)絡(luò)/ 時(shí)間線：頁(yè)面是如何加載的　230 11.2.3　控制臺(tái)：同JavaScript 交互　232 11.2.4　頁(yè)面的深入分析　236 11.3　得到頁(yè)面：如何通過互聯(lián)網(wǎng)發(fā)出請(qǐng)求　237 11.4　使用Beautiful Soup 讀取網(wǎng)頁(yè)　238 11.5　使用lxml 讀取網(wǎng)頁(yè)　241 11.6　小結(jié)　249 第12　章 高級(jí)網(wǎng)頁(yè)抓?。浩聊蛔ト∑髋c爬蟲　251 12.1　基于瀏覽器的解析　251 12.1.1　使用Selenium 進(jìn)行屏幕讀取　252 12.1.2　使用Ghost.py 進(jìn)行屏幕讀取　260 12.2　爬取網(wǎng)頁(yè)　266 12.2.1　使用Scrapy 創(chuàng)建一個(gè)爬蟲　266 12.2.2　使用Scrapy 爬取整個(gè)網(wǎng)站　273 12.3　網(wǎng)絡(luò)：互聯(lián)網(wǎng)的工作原理，以及為什么它會(huì)讓腳本崩潰　281 12.4　變化的互聯(lián)網(wǎng)（或腳本為什么崩潰）　283 12.5　幾句忠告　284 12.6　小結(jié)　284 第13　章 應(yīng)用編程接口　286 13.1　API 特性　287 13.1.1　REST API 與流式API　287 13.1.2　頻率限制　287 13.1.3　分級(jí)數(shù)據(jù)卷　288 13.1.4　API key 和token　289 13.2　一次簡(jiǎn)單的Twitter REST API 數(shù)據(jù)拉取　290 13.3　使用Twitter REST API 進(jìn)行高級(jí)數(shù)據(jù)收集　292 13.4　使用Twitter 流式API 進(jìn)行高級(jí)數(shù)據(jù)收集　295 13.5　小結(jié)　297 第14　章 自動(dòng)化和規(guī)模化　298 14.1　為什么要自動(dòng)化　298 14.2　自動(dòng)化步驟　299 14.3　什么會(huì)出錯(cuò)　301 14.4　在哪里自動(dòng)化　302 14.5　自動(dòng)化的特殊工具　303 14.5.1　使用本地文件、參數(shù)及配置文件　303 14.5.2　在數(shù)據(jù)處理中使用云　308 14.5.3　使用并行處理　310 14.5.4　使用分布式處理　312 14.6　簡(jiǎn)單的自動(dòng)化　313 14.6.1　CronJobs　314 14.6.2　Web 接口　316 14.6.3　Jupyter notebook　316 14.7　大規(guī)模自動(dòng)化　317 14.7.1　Celery：基于隊(duì)列的自動(dòng)化　317 14.7.2　Ansible：操作自動(dòng)化　318 14.8　監(jiān)控自動(dòng)化程序　319 14.8.1　Python 日志　320 14.8.2　添加自動(dòng)化信息　322 14.8.3　上傳和其他報(bào)告　326 14.8.4　日志和監(jiān)控服務(wù)　327 14.9　沒有萬(wàn)無(wú)一失的系統(tǒng)　328 14.10　小結(jié)　328 第15　章 結(jié)論　330 15.1　數(shù)據(jù)處理者的職責(zé)　330 15.2　數(shù)據(jù)處理之上　331 15.2.1　成為一名更優(yōu)秀的數(shù)據(jù)分析師　331 15.2.2　成為一名更優(yōu)秀的開發(fā)者　331 15.2.3　成為一名更優(yōu)秀的視覺化講故事者　332 15.2.4　成為一名更優(yōu)秀的系統(tǒng)架構(gòu)師　332 15.3　下一步做什么　332 附錄A　編程語(yǔ)言對(duì)比　334 附錄B　初學(xué)者的Python 學(xué)習(xí)資源　336 附錄C　學(xué)習(xí)命令行　338 附錄D　高級(jí)Python 設(shè)置　349 附錄E　Python 陷阱　361 附錄F　IPython 指南　370 附錄G　使用亞馬遜網(wǎng)絡(luò)服務(wù)　374 關(guān)于作者　378 關(guān)于封面　378