Python大數(shù)據(jù)處理與分析

第 一部分 基礎(chǔ)篇
第 1章　搭建開發(fā)環(huán)境　2
1．1　Python解釋器的安裝　2
1．1．1　在Windows系統(tǒng)下安裝Python解釋器　2
1．1．2　在Linux系統(tǒng)下安裝Python解釋器　6
1．1．3　在macOS系統(tǒng)下安裝Python解釋器　10
1．1．4　運(yùn)行第 一個hello world程序　12
1．2　Anaconda的安裝及環(huán)境變量配置　12
1．2．1　Anaconda簡介　12
1．2．2　安裝Anaconda　14
1．2．3　配置Anaconda環(huán)境變量　16
1．3　Jupyter Notebook與PyCharm的安裝及工程環(huán)境設(shè)置　17
1．3．1　Jupyter Notebook的簡介與安裝　18
1．3．2　設(shè)置Jupyter Notebook工程環(huán)境　19
1．3．3　PyCharm的簡介與安裝　23
1．3．4　設(shè)置PyCharm工程環(huán)境　25
習(xí)題　28
第 2章　使用NumPy進(jìn)行數(shù)據(jù)
計(jì)算　29
2．1　安裝NumPy　29
2．2　NumPy中的數(shù)組對象　30
2．2．1　數(shù)組對象的創(chuàng)建　31
2．2．2　數(shù)組對象的常用屬性　34
2．2．3　數(shù)組元素的訪問與修改　36
2．2．4　數(shù)組對象的基礎(chǔ)運(yùn)算　37
2．2．5　數(shù)組對象的常用函數(shù)　38
2．3　使用NumPy進(jìn)行數(shù)學(xué)運(yùn)算　42
2．3．1　位運(yùn)算函數(shù)　42
2．3．2　數(shù)學(xué)函數(shù)　44
2．3．3　算術(shù)函數(shù)　45
2．3．4　統(tǒng)計(jì)函數(shù)　47
2．3．5　線性代數(shù)函數(shù)　49
2．4　NumPy使用案例　52
習(xí)題　53
第3章　使用pandas進(jìn)行數(shù)據(jù)分析　54
3．1　安裝pandas　54
3．2　pandas中的對象　55
3．2．1　Series對象　56
3．2．2　DataFrame對象　57
3．3　pandas的基本操作　58
3．3．1　導(dǎo)入與導(dǎo)出數(shù)據(jù)　59
3．3．2　數(shù)據(jù)的查看與檢查　60
3．3．3　數(shù)據(jù)的增刪查改　62
3．4　pandas的基本運(yùn)用　64
3．4．1　數(shù)據(jù)統(tǒng)計(jì)　64
3．4．2　算術(shù)運(yùn)算與數(shù)據(jù)對齊　66
3．5　pandas使用案例　68
習(xí)題　70
第4章　Matplotlib數(shù)據(jù)
可視化　71
4．1　安裝Matplotlib與繪圖基本步驟　71
4．1．1　安裝Matplotlib　71
4．1．2　Matplotlib繪圖基本步驟　72
4．2　經(jīng)典圖形繪制　74
4．2．1　折線圖　74
4．2．2　柱狀圖　77
4．2．3　直方圖　80
4．2．4　散點(diǎn)圖　82
4．2．5　等值線圖及地理信息可視化　86
4．3　圖表調(diào)整及美化　92
4．3．1　圖表主要組成元素調(diào)整　92
4．3．2　顏色參數(shù)及映射表　97
4．4　Matplotlib使用案例　98
習(xí)題　102
第5章　數(shù)據(jù)預(yù)處理　103
5．1　數(shù)據(jù)清洗與準(zhǔn)備　103
5．1．1　數(shù)據(jù)清洗準(zhǔn)備　103
5．1．2　數(shù)據(jù)清洗　104
5．2　正則表達(dá)式　108
5．2．1　正則表達(dá)式的特點(diǎn)與組成　108
5．2．2　字符串方法　109
5．2．3　re模塊　113
5．3　數(shù)據(jù)規(guī)整　117
5．3．1　聚合、分組及數(shù)據(jù)透視　117
5．3．2　特征選擇（降維）　120
5．3．3　數(shù)據(jù)變換與數(shù)據(jù)規(guī)約　122
5．3．4　稀疏表示和字典學(xué)習(xí)　124
習(xí)題　126
第二部分　實(shí)例篇
第6章　基于大數(shù)據(jù)的房產(chǎn)估價(jià)　128
6．1　情景問題提出及分析　128
6．2　多元回歸模型介紹　128
6．3　方法與過程　129
6．3．1　讀入數(shù)據(jù)并進(jìn)行數(shù)據(jù)預(yù)處理　130
6．3．2　將預(yù)處理好的數(shù)據(jù)可視化　141
6．3．3　使用多元回歸模型進(jìn)行房產(chǎn)估價(jià)　146
6．3．4　模型效果評價(jià)　148
上機(jī)實(shí)驗(yàn)　151
第7章　某移動公司客戶價(jià)值分析　152
7．1　情景問題提出及分析　152
7．2　K-Means聚類算法簡介　153
7．3　客戶價(jià)值分析過程　155
7．3．1　讀入數(shù)據(jù)并進(jìn)行數(shù)據(jù)預(yù)處理　156
7．3．2　數(shù)據(jù)標(biāo)準(zhǔn)化　165
7．3．3　使用K-Means聚類算法對客戶進(jìn)行分析　167
7．3．4　數(shù)據(jù)可視化及數(shù)據(jù)分析　172
上機(jī)實(shí)驗(yàn)　178
第8章　基于歷史數(shù)據(jù)的氣溫及降水預(yù)測　179
8．1　情景問題提出及分析　179
8．2　常見的時間序列模型簡介　180
8．2．1　AR模型　180
8．2．2　MA模型　181
8．2．3　ARMA模型　181
8．2．4　ARIMA模型　182
8．2．5　模型求解步驟　183
8．3　平穩(wěn)序列建模示例（降水預(yù)測）　186
8．3．1　讀入數(shù)據(jù)并進(jìn)行預(yù)處理　186
8．3．2　時間序列的平穩(wěn)性分析　190
8．3．3　模型選擇及定階　191
8．3．4　建立時序模型并預(yù)測　193
8．4　非平穩(wěn)序列建模示例（氣溫預(yù)測）　195
8．4．1　讀入數(shù)據(jù)并進(jìn)行預(yù)處理　195
8．4．2　時間序列的平穩(wěn)性分析　197
8．4．3　模型選擇及定階　198
8．4．4　建立時序模型并預(yù)測　200
上機(jī)實(shí)驗(yàn)　202
第9章　智能電網(wǎng)的電能預(yù)估及價(jià)值分析　203
9．1　情景問題提出及分析　203
9．2　決策樹算法簡介　203
9．2．1　ID3算法　205
9．2．2　C4．5算法　207
9．2．3　CART算法　208
9．2．4　預(yù)剪枝與后剪枝　208
9．2．5　連續(xù)值處理　209
9．3　方法與過程　211
9．3．1　讀入數(shù)據(jù)并預(yù)處理　211
9．3．2　模型構(gòu)建　218
9．3．3　模型效果評價(jià)　221
上機(jī)實(shí)驗(yàn)　221
參考文獻(xiàn)　223